Формула Хартли. Рассмотрим пример: допустим, нужно угадать число из набора целых чисел от нуля до 63

I=log₂N.

Отсюда следует, что 2^I=N.

Рассмотрим пример: допустим, нужно угадать число из набора целых чисел от нуля до 63. В соответствии с формулой Хартли количество информации в сообщении о том, какое число угадано равно I=log₂64=6 бит.

Формула Хартли определяет длину двоичного слова (I), которое требуется для кодирования N равновероятных сообщений (объектов, состояний, событий).

Такой подход для определения количества информации назвали вероятностным. Рассмотрим с этой точки зрения формулу Хартли.

Пусть N – число равновероятных событий. Поскольку вероятности появления событий равны, то можно записать р= , следовательно N= . Исходя из этого, запишем формулу Хартли в следующем виде:

I=log₂N=log₂(1/p)=-log₂p.

Следует учесть, что не все события могут быть равновероятны. Для такого рода задач американский ученый Клод Шеннон в 1948г. предложил формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.