Глава 2. то при ее бросании вероятности выпадения «орла» и «реш­ки» будут различаться

то при ее бросании вероятности выпадения «орла» и «реш­ки» будут различаться.

Формулу для вычисления количества информации в слу­чае различных вероятностей событий предложил К. Шеннон в 1948 году. В этом случае количество информации опреде­ляется по формуле:

U С²-²) / = -£>,log₂p„

$7 м —

где / — количество информации;

N — количество возможных событий;

р₁ — вероятность i-го события.

Например, пусть при бросании несимметричной четырех­гранной пирамидки вероятности отдельных событий будут равны:

_Pl = 1/2, р₂ = 1/4, р₃ = 1/8, р₄ = 1/8. Тогда количество информации, которое мы получим после реализации одного из них, можно рассчитать по формуле (2.2):

I = -(l/2-log₂l/2 + l/4-log₂l/4 + l/8-log₂l/8 + l/8-log₂l/8) = = (1/2 + 2/4 + 3/8 + 3/8) битов = 14/8 битов = 1,75 бита. Этот подход к определению количества информации на­зывается вероятностным.

Для частного, но широко распространенного и рассмот­ренного выше случая, когда события равновероятны (p_t= 1/iV), величину количества информации / можно рас­считать по формуле:

1* (2.3) / = -У—1од₂ — = 1од₂Л/.

По формуле (2.3) можно определить, например, количест­во информации, которое мы получим при бросании симмет­ричной и однородной четырехгранной пирамидки:

/ = log₂4 = 2 бита. Таким образом, при бросании симметричной пирамидки, когда события равновероятны, мы получим большее количе­ство информации (2 бита), чем при бросании несимметрич­ной (1,75 бита), когда события неравновероятны.