Количество информации

В формуле (1) число комбинаций N это не что иное, как количество сообщений, сформированных из равно­вероятных и независимых элементов. С ростом т и n число сообщений N увеличивается. Поэтому величину N можно использовать как основу для определения меры количества информации. Это позволит сравнивать различные источники сообщений с точки зрения согласованной передачи их сигналов по каналам связи.

Мера количества информации должна удовлетворять условию аддитивности, т.е. более длинное сообщение должно содержать соответственно большее количество информации.

Следовательно, количество информации J, содержащееся в сообщении, должно быть функцией от N, т.е. J = f(N). Так как число элементов п является показателем степени, то для определения J лучше применять логарифмическую функцию:

(2)

Где: n — количество элементов в сообщении (значность кода);

т - общее число возможных состояний элемента (основание кода);

в - основание логарифма, определяющее количество информации.

Если основание кода т и основание логарифма в принять равными 2, то количество информации при таких условиях принимается за единицу, которая называется «бит» (двоичная единица).

Таким образом, количество информации в одном сообщении при взаимонезависимых друг от друга и равновероятных элементах сообщения выражается формулой:

(3)

Однако в общем случае вероятность появления различных символов в сообщении может быть неодинаковой. Например, в русском языке чаще всего встречается буква О, а реже всего - буква Ф. В этом случае при определении количества информации нужно применять правило сложения вероятностей. Так как источник сообщения может принять одною возможных m состояний с присущей ему вероятностью, то полная группа сообщений будет равна:

(4)

Где: - вероятность появления i -го элемента.

Это нужно учесть в формуле (2).

Таким образом, количество информации при неравновероятных и взаимонезависимых элементах сообщения определяется по формуле:

(5)

Знак минус связан с тем, что поскольку < 1, то < О, т.е. имеет отрицательное значение.

Неравновероятность появления элементов сообщения уменьшает количество информации, которое приходится на один элемент сообщения. Отсюда следует, что < .

В реальных источниках информации элементы сообщения чаще всего и неравновероятны, и взаимозависимы. Действительно, в тексте буквы появляются не только с разной вероятностью , но и взаимосвязаны между собой. Значит, нужно учитывать условные вероятности , т.е. вероятность появления буквы j, если перед ней была буква i. Например, после согласной, как правило, идет гласная буква, хотя есть исключения.

Отсюда следует, что количество информации при неравновероятных и взаимозависимых элементах сообщения может быть найдено из выражения:

(6)

Здесь количество информации на один элемент сообщения еще меньше, чем в предыдущих случаях, т.е. < <