Формула Хартли

Формула Хартли – это частный случай формулы Шеннона для равновероятных вариантов.

Подставив в формулу Шеннона вместо p_i его (в равновероятном случае не зависящее от i)значение p_i = 1/N, получим:

, таким образом, формула Хартли выглядит очень просто:

Из нее следует, что с увеличением количества вариантов (N), растёт и неопределенность (H). Эти величины связаны в формуле не линейно, а через двоичный логарифм. Логарифмирование по основанию 2 и приводит количество возможных вариантов к единицам измерения информации – битам.

Как видно, энтропия будет являться целым числом лишь в том случае, когда N является степенью числа 2, т. е. если N принадлежит ряду: 1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…

Зависимость энтропии от количества равновероятных вариантов выбора (равнозначных альтернатив)

Для решения обратных задач, когда известна неопределенность (H) или полученное в результате ее снятия количество информации (I) и нужно определить какое количество равновероятных альтернатив соответствует возникновению этой неопределенности, используют обратную формулу Хартли, которая выводится в соответствии с определением логарифма и выглядит еще проще:

Например, если информация о том, что некий Иванов живет на втором этаже, соответствует 3 битам, то по формуле можно определить количество этажей в доме, как: N = 2³ = 8 этажей.

Если же вопрос поставить так: “В доме 8 этажей, то какое количество информации мы получим, узнав, что интересующий нас Иванов живет на втором этаже?”, то расчёт можно произвести по формуле:

I = log₂(8) = 3 бита