Вероятностный подход

Определяет количественную связь между вероятностью появления некоторого события (р) и количеством информации в сообщении о наступлении этого события, учитывающую возможную неодинаковую вероятность сообщений в наборе:

i = log₂(1/p).

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. следующую формулу определения количества информации:

I = – (p₁ log₂ p₁ + p₂ log₂ p₂ +... + p_N log₂ p_N),

где p_i – вероятность наступления i – го события из набора, в котором может быть N событий.

Заметим, что при равных вероятностях p₁,..., p_N, каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.

Пример. В коробке 50 шаров: 40 белых и 10 черных. Определить количество информации в сообщении о том, что при первой попытке выбран черный шар.

Решение.

Вероятность попадания при выборе черного шара p = 10/50 = 0,2.

Количество информации

i = log₂(1/0,2) = log₂5=2,32.

Обобщенный пример. В алфавите 4 буквы (А,В,С,D), один знак препинания «.» и один разделитель (пробел). В тексте 10000 знаков, из них:

букв A – 4000,

букв B – 1000,

букв C – 2000,

букв D – 1500,

точек – 500,

пробелов – 1000.

Какой объем информации в тексте?

Если считать, что частотный алфавит определен для любого текста на этом языке, то можно найти вероятность каждого символа текста и его информационный вес:

A: 4000/10000 = 0,4; i_A = log₂(1/0,4) = 1,32;

B: 1000/10000 = 0,1; i_B = log₂(1/0,1) = 3,19;

C: 2000/10000 = 0,2; i_C = log₂(1/0,2) = 2,32;

D: 1500/10000 = 0,15; i_D = log₂(1/0,15) = 2,73;

точка: 500/10000 = 0,05; i_точка = log₂(1/0,05) = 4,32;

пробел: 1000/10000 = 0,1; i_пробел = log₂(1/0,1) = 3,19.

Общий объем информации в книге вычисляется по формуле суммы произведений информационного веса каждого символа на число повторений этого символа:

I = i_A*n_A + i_B*n_B + i_C*n_C + i_D*n_D + i_точка* n_точка + i_пробел* n_пробел =

1,32 * 4000 + 3,19 * 1000 + 2,32 * 2000 + 2,73 * 1500 + 4,32 * 500 + 3,19 * 1000 = 22841,84 бита.

Вопросы для самопроверки

1. Какие существуют способы для измерения информации?

2. В каких случаях можно вычислить количество информации, содержащейся в сообщении?

3. Почему в вероятностных формулах за основание логарифма взято число 2?

4. При каком условии формула Шеннона переходит в формулу Хартли?

5. Что определяет термин «бит» в теории информации и в вычислительной технике?

6. Приведите примеры сообщений, содержащих один (два, три) бит информации.

Упражнения

1. Сколько информации в сообщении о том, что на светофоре горит красный цвет.

2. Пусть голосуют 3 человека (голосование "да"/"нет"). Запишите все возможные исходы голосования, сколько из них победных?

3. Поезд находится на одном из восьми путей. Сколько бит информации содержит сообщение о том, где находится поезд?

4. Сколько существует различных двоичных последовательностей из одного, двух, трех, четырёх, восьми символов?

5. Каков информационный объём сообщения "Хакер Вася молодец" при условии, что один символ кодируется одним байтом и соседние слова разделены одним пробелом?

6. Определите приблизительно информационный объём:

а) одной страницы книги;

б) поздравительной открытки.

7. Сколько бит необходимо, чтобы закодировать четыре значения оценок: «неудовлетворительно», «удовлетворительно», «хорошо» и «отлично»?

8. Сколько различных символов, закодированных байтами, содержится в сообщении: 11010011 00011100 11010011 00011100 01010111?

9. Сколько байт памяти необходимо, чтобы закодировать изображение на экране монитора, который может отображать 1280 точек по горизонтали и 1024 точек по вертикали при 256 цветах?

10. При угадывании целого числа в диапазоне от 1 до N получено 7 бит информации. Чему равно N?

11. Решите уравнение: 8^x (бит) = 32 (Кбайт).