Информацияи энтропия

Можем ли мы ввести разумную меру информации? Над этим вопросом задумался американский математик и инженер Клод Шеннон. Результатом размышлений стала опубликованная им в 1948 г. статья «Математическая теория связи». Ее выход положил начало работе с информацией как реальным, поддающимся измерению объектом. Коротко обсудим основные понятия, введенные и исследованные Шенноном.

Рисунок 2.3 - Клод Шеннон

Шеннон назвал информацией любой набор сообщений. Мы рассмотрим только дискретные (состоящие из набора символов) сообщения, то есть такие, которые представляют собой последовательности символов определенного заранее известного алфавита.

Пример подобного алфавита — азбука Морзе. Пример сообщения: «—» (точка-тире-точка).