Синтаксическая мера информации

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных Vд в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

• в двоичной системе счисления единица измерения – бит (bit – binary digit – двоичный разряд). В современных компьютерах наряду с битом широко используется укрупненная единица измерения “байт”, равная 8 бит;
• в десятичной системе счисления единица измерения – дит (десятичный разряд).

Сообщение в двоичной системе в виде восьмиразрядного двоичного кода 10111011 имеет объем данных Vд=8 бит. Сообщение в десятичной системе в виде шестиразрядного числа 275903 имеет объем данных Vд=6 дит.

Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Рассмотрим это понятие.

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе . Мерой его неосведомленности о системе является функция Н(), которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения  получатель приобрел некоторую дополнительную информацию I (), уменьшившею его неосведомленность так, что после получения сообщения  неопределенность состояния системы стала H ().

Тогда количество информации I () о системе, полученной в сообщении , определяется как

I ()=H() - H (),

т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Если конечная неопределенность H () обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I () = H(). Иными словами, энтропия системы H() может рассматриваться как мера недостающей информации.

Коэффициент (степень) информативности (лаконичности) сообщения определяется отношением количества информации к объему данных, т.е.

,

причем 0 < Y < 1.

С увеличением Y уменьшается объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные метода оптимального кодирования информации.

№8 Семантическая мера информации

Краткое описание: В этом случае рассматривается семантический аспект, позволяющий определить содержательную сторону сведений. Для измерения смыслового содержания информации можно воспользоваться тезаурусом ее получателя (потребителя). Тезаурусом называется совокупность сведений, которыми располагает получатель информации. Соотнесение тезауруса с содержанием поступившего сообщения позволяет выяснить, насколько оно снижает неопределенность. Прагматическая мера информации определяет ее полезность в достижении своих целей. Для этого достаточно определить вероятность достижения цели до и после получения сообщения и сравнить их. Ценность информации рассчитывается по формуле Ip= log (P1/ P0), где P0 – вероятность достижения цели до получения информации, а P1 – вероятность достижения цели после получения сообщения.