Информация. Вероятностный подход к измерению количества информации

Подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию, что чрезвычайно важно для информатики.

Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий — монета окажется в одном из двух положений: «орел» или «решка».

Перед броском существует неопределенность наших знаний (возможны два события), и как упадет монета — предсказать невозможно. После броска наступает полная определенность, так как мы видим, что монета в данный момент находится в определенном положении (например, «орел»). Это приводит к уменьшению неопределенности наших знаний в два раза, поскольку из двух возможных равновероятных событий реализовалось одно.

Имеется формула, которая связывает между собой число возможных событий N и количество информации I:



По этой формуле легко определить число возможных событий, если известно количество информации. Так, для кодирования одного символа требуется 8 бит информации, следовательно, число возможных событий (символов) составляет:

Наоборот, для определения количества информации, если известно число событий, необходимо решить показательное уравнение относительно /. Например, в игре «Крестики-нолики» на поле 4*4 перед первым ходом существует 16 возможных событий (16 различных вариантов расположения «крестика»), тогда уравнение принимает вид:

16 = 2^i. Так как 16 = 2^4, то уравнение запишется как:

Таким образом, I = 4 бит, т.е. количество информации, полученное вторым игроком после первого хода первого игрока, составляет 4 бит.