Энтропийная характеристика информации

Энтропийная характеристика информации принята в теории информации и кодирования. Она представляет собой меру неопределенности в появлении некоторых событий и выражается математической зависимостью от совокупности вероятности этих событий. Количество информации в сообщении определяется при энтропийном методе оценки тем, насколько уменьшится эта мера после получения сообщения.

В вычислительной технике вся обрабатываемая информация не зависимо от ее природы (текст, число, изображение и т.д.) представляется в двоичной форме записи числа, т.е. состоящая из двух символов 0 и 1. Один такой символ называется битом. В теории информации единица информации – 1 бит – сообщение, уменьшающее неопределенность знаний в 2 раза.

Примеры:

***«Орел–решетка» при бросании монеты. 2 исхода, исходы равновероятны. В сообщении: “Монета выпала орлом.” – 1 бит информации. Было два возможных исхода, остался 1.

***Опыт по выбору загаданной карты из восьми карт одной масти: 7, 8, 9, 10, В, Д, К, Т. Загадана 10. Вопросы надо ставить так, чтобы ответы "Да", "Нет" уменьшали неопределенность в два раза.

Тогда: картинка? Нет! 1 бит

две старшие? Да! 1 бит

девятка? Нет! 1 бит.

Ясно, что это десятка. Понадобилось 3 бита при 8 равновероятных исходах. В колоде из 32 карт для однозначного выбора десятки надо задать 5 вопросов, т.е. в сообщении: «Я загадал 10 ¨» содержится 5 бит информации.

Проанализируем рассмотренные ситуации:

***Для карт одной масти: N = 8, N – число равновероятных исходов

H =3, H – энтропия информации

***Для карт всех мастей: N=32, H=5.

***Опыт с монетой: N=2, H=1.

Подводим итог: 2¹=2, 2³=8, 2⁵=32, 2^H=N.

Проглядывает следующая закономерность: H = log ₂ N,

Данную формулу предложил в 1928 г Хартли, США.

Если исходов N, но их вероятности различны: p₁, p₂… p_N, то применяют формулу Клода Шеннона, США, предлженную в середине 40-х.

H= -(p₁ log₂ p₁ + p₂ log₂ p₂ + … + p_N log₂ p_N).

Легко заметить, что если вероятности p₁, …, p_N равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.