Формула Шеннона и ее практическое использование

<Занудство>

Формулу для вычисления количества информации в случае различных вероятностей событий предложил К. Шеннон в 1948 году. В этом случае количество информации определяется по формуле:

(2.2)

где I - количество информации;
N - количество возможных событий;
р_i - вероятность i-го события.

Например, пусть при бросании несимметричной четырехгранной пирамидки вероятности отдельных событий будут равны:

Р₁ = 1/2, р₂ = 1/4, р₃ = 1/8, р₄ = 1/8.

Тогда количество информации, которое мы получим после реализации одного из них, можно рассчитать по формуле (2.2):

I = -(l/2 log₂l/2 + l/4 log₂l/4 + l/8 log₂l/8 + l/8 log₂l/8) = (1/2 + 2/4 + 3/8 + 3/8) битов = 14/8 битов = 1,75 бита.

Этот подход к определению количества информации называется вероятностным.

</Занудство>