Сообщение о том, что произошло одно событие из двух равновероятных, несет один бит информации

Рассмотрим, как можно подсчитать количество информации в сообщении, используя содержательный подход. Данный подход применяется в тех случаях, когда речь идет о том, что произошло одно из конечного множества (N) возможных событий.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных (равновозможных) событий. Тогда количество информации i, заключенное в этом сообщении, и число событий N связаны формулой:

2ⁱ = N.

Если N равно целой степени двойки (2, 4, 8, 16 и т.д.), то вычисления легко произвести "в уме". В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей логарифмов либо определять значение логарифма приблизительно (ближайшее целое число, большее).

Например, если из 256 одинаковых, но разноцветных шаров наугад выбрали один, то сообщение о том, что выбрали красный шар, несет 8 бит информации (2⁸=256).

Для угадывания числа (наверняка) в диапазоне от 0 до 100, если разрешается задавать только двоичные вопросы (с ответом "да" или "нет"), нужно задать 7 вопросов, так как объем информации о загаданном числе больше 6 и меньше 7 (2⁶<100>2⁷)

Количество информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2ⁱ=N