Энтропия дискретного ансамбля сообщений

Среднее количество информации, содержащееся в ансамбле , определяется математическим ожиданием

. (2.6)

Величина называется энтропией ансамбля и имеет размерность . Под термином сообщение понимается элемент ансамбля : это может быть символ или набор символов, образующих некоторое сообщение и т. д.

Пример 1. Положим, образуют ансамбль сообщений . Вероятности реализаций этих сообщений соответственно равны 0.1, 0.4, 0.2, 0.3. Определим количество информации, содержащуюся в каждом сообщении, и меру неопределённости в ансамбле .

После расчетов получим

3.3219 , 1.3219 , 2.3219 , 1.7369 .

Энтропия ансамбля равна 1.84644 .

Как видно, наибольшее количество информации содержится в сообщении , которая реализуется с наименьшей вероятностью, и наименьшее количество информации содержится в сообщении , вероятность реализации которой наибольшая. Чем ближе к единице вероятность реализации сообщения, тем меньше информации содержится в этом сообщении. Эти выводы хорошо согласуются с субъективным представлением о ценности получаемых сведений.

Пример 2. Положим, одно из сообщений ансамбля реализуется с вероятностью 0. Тогда какое-то другое сообщение будет реализовываться с вероятностью 1. Вычислим энтропию вновь полученного ансамбля .

.

Получили неопределённость типа . Разрешив эту неопределённость, получим . Неопределённость в ансамбле отсутствует.

Энтропия характеризует меру средней неопределённости ансамбля .Пусть задан ансамбль : { } с распределением вероятностей , . Тогда энтропия удовлетворяет неравенству

. (2.7)

Доказательство. Левая часть неравенства следует из определения энтропии ансамбля . Для доказательства правой части рассмотрим разность и преобразуем её

В дальнейшем используем неравенство , рисунок 2.1. Знак равенства будет только в случае . Тогда имеем

.

Из последнего неравенства следует, что знак равенства в правой части неравенстве (2.7) будет в том случае, если

= 1 или .

Энтропия ансамбля будет максимальной, если все события равновероятны. Ценность информации в каждом сообщении, с точки зрения частоты её появления в результате опытов, будет равна .

Вычислим энтропию произведения ансамблей : и : . Произведение ансамблей образует матрицу сообщений

с распределением вероятностей

.

Пользуясь определением энтропии ансамбля, запишем энтропию произведения ансамблей

=

(2.8)

Условная энтропия зависит от условной меры информации - количества информации, содержащаяся в сообщении , при условии, что уже реализовалось сообщение , т.е. - это не случайное событие в условной мере информации , случайность реализации учитывается в вероятности .

Если ансамбли и независимы, т.е. , то энтропия произведения ансамблей равна сумме энтропий ансамблей и

. (2.9)

Пользуясь методикой, применяемой при доказательстве неравенства (2.6), можно показать, что

. (2.10)

Если имеется множество ансамблей , то энтропия произведения ансамблей равна

,

(2.11)