Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации

Измерение количества информации

Информацию можно рассматривать в синтаксическом, семантическом, прагматическом аспектах.

Так, при передаче и хранении информации с помощью различных технических устройств информацию следует рассматривать как последовательность знаков (цифр, букв, кодов цветов точек изображения), не рассматривая ее содержание.

Прагматически (интересно, нужно) человек индивидуально воспринимает и оценивает ту или иную информацию.

При содержательном (семантическом) подходе количество информации, заключенное в сообщении, определяется объемом знаний, который это сообщение несет получающему его человеку.

Какое количество информации содержится, к примеру, в тексте романа "Война и мир", во фресках Рафаэля или в генетическом коде человека? А возможно ли объективно измерить количество информации?

В определенных, весьма широких условиях можно пренебречь качественными особенностями информации (картина мастера, генетический код, музыкальное произведение, фильм), выразить её количество числом, а также сравнить количество информации, содержащейся в различных видах данных.

С «человеческой» точки зрения информация - это знания, которые мы получаем из внешнего мира. Количество информации, заключенное в сообщении, должно быть тем больше, чем больше оно пополняет или изменяет наши знания.

За единицу измерения информации принимается 1 бит.

1 бит - минимальная единица измерения количества информации.

.

В теории информации, основатель теории информации Клод Шеннон для бита дается следующее определение:

Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации.

Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка. Есть всего два возможных результата бросания монеты. Причем ни один из этих результатов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.

После того, как вы бросили монету и посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Произошло одно из двух возможных событий. Неопределенность знаний уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили один бит информации.

Сообщение об одном из двух равновероятных результатов некоторого события несет 1 бит (условно 0 или 1) информации.

В случае с монетой перед ее подбрасыванием неопределенность знания о результате равна двум.

Игральный же кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знания о результате бросания кубика равна шести.

Таким образом :