Определение количества информации по К. Шеннону

Статистическая мера рассматривает информацию как исход случайных событий. Количество информации ставится в зависимость от априорных вероятностей этих событий.

Пусть некоторая физическая система характеризуется N состояниями , , ,…, и распределением вероятностей этих состояний , , ,…, , образующих полную группу несовместимых событий т.е.:

.

Американский ученый Клод Шеннон в середине 40-х годов прошлого столетия предложил оценивать количество информации в каждом исходе мерой:

. (7.5)

За количественную меру информации содержащуюся в некотором сообщении принимается минус логарифм вероятности этого сообщения .

При

, [бит]. (7.6)

Энтропия сообщения. Среднее количество информации по всем состояниям системы:

(7.7)

где -энтропия системы.

Функция Н была выбрана Шенноном так, чтобы она удовлетворяла следующим требованиям:

1. должна быть непрерывной относительно .

2. Если все равны, , то Н должна быть монотонно возрастающей функцией от N. В случае равновероятных событий имеется больше возможностей выбора или неопределенности, чем в случае, когда имеются не равновероятные события.

3. Если бы выбор распадался на два последовательных выбора, то первоначальная должна была бы быть взвешенной суммой индивидуальных значений .

Шенноном доказано, что существует единственная функция Н, вид которой приведен выше, удовлетворяющая этим трем требованиям. Кроме того, энтропия H характеризуется следующими свойствами:

- энтропия всегда неотрицательна, так как значения вероятностей выражаются дробными величинами, а их логарифмы - отрицательными величинами, т.е. члены - неотрицательны;

- энтропия равна нулю в том крайнем случае, когда вероятность одного события равна единице, а вероятности всех остальных нулю. Это тот случай, когда об опыте или величине все известно заранее и результат не приносит никакой новой информации;

- энтропия имеет наибольшее значение при условии, когда все вероятности равны между собой = = =…= = . При этом .

Таким образом, в случае равновероятности событий статистическое определение количества информации по Шеннону совпадает с определением количества информации по Хартли. Совпадение оценок свидетельствует о полном использовании информационной емкости системы, т.e. формула Хартли соответствует максимальному значению энтропии.

Физически это определяет случай, когда неопределенность настолько велика, что прогнозировать оказывается трудно.

В случае неравенства вероятностей количество информации по Шеннону меньше информационной емкости системы.

Так энтропия для двух неравновероятных состояний одного элемента равна

.

Поведение этой функции в зависимости от значений р ₁ и р ₂ показано на рис.7.3.

Максимум Н =1 достигается при р ₁ =р ₂ = 0,5, когда два состояния равновероятны. При р ₁=1, р ₂=0 и при р₁= 0, р₂=1, что соответствует полной достоверности события, энтропия равна нулю.

Кроме неравновероятности появления символов следует учитывать, что ре­альные источники вырабатывают слова при наличии статисти­ческой зависимости между буквами. В реальных источниках вероятность выбора какой-либо очередной буквы зависит от всех предшествующих букв. Многие реальные источники дос­таточно хорошо описываются марковскими моделями источ­ника сообщений. Согласно указанной модели условная веро­ятность выбора источником очередной , буквы зависит только от предшествующих букв.

Рассмотрим ансамбли и и их произведение . Для любого фиксированного можно построить условное распределение вероятностей на множестве и для каждого подсчи­тать информацию

,

называемую условной собственной информацией сообщения - при фиксиро­ванном ,

Ранее мы назвали энтропией ансамбля среднюю информацию сообщений . Аналогично, усреднив условную информацию по , получим величину

,

называемую частной условной энтропией X при фиксированном .

Вновь введенная энтропия — случайная величина, поскольку она за­висит от случайной переменной . Чтобы получить неслучайную информацион­ную характеристику пары вероятностных ансамблей, нужно выполнить усредне­ние по всем значениям . Величина

называется условной энтропией ансамбля при фиксированном ансамбле .

Отметим ряд свойств условной энтропии:

1. .

2. , причем равенство имеет место в том и только в том случае, когда ансамбли и независимы.

3. Совместная энтропия

4.

5. , причем равенство имеет место в том и только в том случае, когда ансамбли и условно независимы при всех .

Обсудим физический смысл сформулированных свойств условной энтро­пии. Свойство 2 устанавливает, что условная энтропия ансамбля не превышает его безусловной энтропии. Свойство 5 усиливает это утверждение. Из него следует, что условная энтропия не увеличивается с увеличением числа условий. Оба эти факта не удивительны, они отражают то обстоятельство, что дополнительная информация об ансамбле , содержащаяся в сообщениях других ансамблей, в среднем уменьшает информативность (неопределенность) ансамбля .

Из свойств 1-5 следует неравенство

,

в котором равенство возможно только в случае совместной независимости ан­самблей .

Напомним, что вычисление энтропии — это определение затрат на передачу или хранение букв источника. Свойства условной энтропии подсказывают, что при передаче буквы следует использовать то обстоятельство, что предыду­щие буквы уже известны на приемной стороне. Это позволит вместо бит потратить меньшее количество бит.