Связь между вероятностью события и количеством информации

Под информацией будем понимать сообщение о событиях внутри некоторой системы или в окружающей среде. Отметим, что к информации относятся лишь новые сведения, определяющие приращение знаний. При таком подходе ясно, что чем меньше вероятность события, тем большее количество информации содержится в сообщении о том, что это событие произошло. Если из колоды игральных карт извлечь бубновый туз, то в сообщении об этом случайном событии содержится больше информации, чем в известии о выпадении герба при случайном бросании монеты. В первом случае неопределенность ситуации выше - вероятность извлечь конкретную карту составляет 1/36, а во втором - вероятность выпадения герба равна 1/2.

Обозначим через A _i некоторое событие, P (A _i) - вероятность данного события. Тогда количество информации I (A _i), заключенное в сообщении о реализации события определяется:

Единица измерения количества информации будет зависеть от выбора значения основания логарифма. В теории информации принимают а = 2. Если получено сообщение о реализации одного конкретного результата из двух возможных, то количество информации, заключенное в этом сообщении равно:

бит.

Таким образом, за единицу количества информации принимают один бит - количество информации, получаемое при осуществлении одного из двух равновероятных событий. Более крупные единицы: 1 байт = 8 бит, 1 килобайт = 2¹⁰ байт = 1024 байта, 1 мегабайт = 2²⁰ байта = 1048576 байта.

6. Принципы вероятных подходов к задачам диагностики