Энтропия источника сообщения

Следует обратить внимание на то, что информация, полученная от источника, будет тем ценнее и содержательнее, чем больше была неопределенность до ее получения.

В качестве меры априорной (доопытной) неопределенности источника информации К. Шеннон ввел понятие энтропия. Если до принятия информации от источника была полная неопределенность, которая характеризовалась энтропией Н, то после получения информации эта неопределенность устраняется и энтропия становится равной нулю. Это значит, что энтропия источника сообщений численно равна количеству полученной информации, приходящейся на один элемент сообщения.

Это обстоятельство позволяет найти энтропию для трех ранее рассмотренных источников информации:

- при равновероятных и взаимонезависимых элементах сообщения:

(7)

- при неравновероятных и взаимонезависимых элементах сообщения:

(8)

- при неравновероятных и взаимозависимых элементах сообщения

(9)

Отсюда следует, что энтропия источника во всех рассмотренных случаях определяется количеством информации, переносимой одним символом сообщения. А так как < < то энтропия > > .

Энтропия обладает следующими свойствами:

, если одно из сообщений источника информации достоверно, а другие, образующие полную группу сообщений, невозможны;

, когда все сообщения источника информации равновероятны (при их конечном числе);

возрастает с увеличением количества равновероятных сообщений от источника информации;

обладает свойством аддитивности, т.е. если несколько независимых источников информации объединяются в один, то их энтропии складываются: .