Синтаксическая мера информации

Синтаксическая мера информации оперирует с обезличенной информацией (данными), не выражающей смыслового отношения к объекту.

Для измерения информации вводится два параметра:

• количество информации (I);

• объем данных (V_д)

Объем данных в сообщении измеряется количеством символов (разрядов) в этом сообщении (длина информационного кода).

Например:

1. конкурс выиграл B Vд =17 символов

2. B стал победителем Vд =18 символов

3. A проиграл Vд = 10 символов

Количество информации о системе, полученное в сообщении, измеряется уменьшением неопределенности о состоянии системы.

Меру неопределенности в теории информации называют “ энтропия ”. Неопределенность не отделима от понятия вероятности. Одинаково ли количество информации в ответах на вопросы:

Вопрос	Ответ
1. В каком из 4-х возможных состояний (твердое, жидкое, газообразное, плазма) находится некоторое вещество? 2. На каком из 4-х курсов учится студент техникума?	Если считать эти состояния равновероятными, то P(i)=1/4. Тогда ответ на вопросы 1 и 2 снимает равную неопределенность => содержит равное кол-во информации
3. Как упадет монета при подбрасывании: “орлом” или “решкой”?	P(i)=1/2. Вероятность каждого состояния больше, а снимаемая ответом неопределенность меньше => содержит меньшее кол-во информации

Выводы

• Чем меньше вероятность события, тем больше информации несет сообщение о его появлении.

• Если вероятность события равна 1 (достоверное событие), количество информации в сообщении о его появлении равно 0.

«Конкурс выиграет один из участников: A или B» - это априорная (предварительная) информация о системе, утверждающая, что система может находиться в одном из 2-х состояний.

После получения любого сообщения из:

• конкурс выиграл B Vд =17 символов

• B стал победителем Vд =18 символов

• A проиграл Vд = 10 символов

неопределенность снизилась до одного варианта из двух изначально возможных. Чему равно количество информации, которое несет это сообщение?

Для синтаксической оценки количества информации не важно в каком именно состоянии находится система, важно только возможное количество состояний системы и их априорные вероятности.

Пусть до получения информации потребитель имеет некоторые априорные сведения о системе a. Мерой его неосведомленности о системе является функция H(a), которая служит и мерой неопределенности состояния системы.

После получения некоторого сообщения b получатель приобрел некоторую дополнительную информацию I_b(a), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения b) неопределенность состояния системы стала H_b(a).

Тогда количество информации I_b(a) о системе, полученной в сообщении b, определяется как

I_b(a) = H(a) - H_b(a),

т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.