Требования к мере количества информации в сообщении. Известные меры к определению количества информации (комбинаторный подход, вероятностный подход, алгоритмический подход)

Требования к вводимой мере оценки количества информации:

1) Чем больше число возможных сообщений (возможных значений сигнала), тем больше априорная неопределенность и тем большее количество информации получает адресат, когда эта неопределенность снимается. Если же выбор сообщения заранее предопределен, то количество информации в этом сообщении равно нулю.

2) Вводимая мера должна обладать свойством аддитивности, в соответствии с которым неопределенность объединенного источника равна сумме неопределенностей исходных источников.

Комбинаторный подход к оценке количества информации (Р.Хартли, 1928г.).

Степень неопределенности опыта X с N различными исходами характеризуется числом

H (X) = log N.

Не учитываются вероятности различных исходов.

Вероятностный подход к оценке количества информации (К.Шеннон, 1949г.).

Степень неопределенности конкретного состояния зависит не только от объема алфавита источника, но и от вероятности этого состояния.

Количество информации, содержащееся в одном элементарном дискретном сообщении x_k целесообразно определить как функцию вероятности появления этого сообщения p(x_k) и характеризовать величиной

Величина i(x_k) называется количеством собственной информации в сообщении x_kÎX.