Главная Случайная страница Контакты | Мы поможем в написании вашей работы! | ||
|
Синтаксическая мера информации используется для количественного выражения обезличенной информации, не выражающей смыслового отношения к объектам.
Объем данных Vд в сообщении измеряется количеством символов в нем. Обычно для указания объема данных считают количество двоичных символов. Двоичный символ может принимать только два различных значения: 1 и 0 (эквивалентно значениям "да" и "нет"). Двоичный символ носит название бит (от слов binary digit - двоичная цифра). Распространенность двоичной единицы измерения объема объясняется двоичной системой записи чисел, на которой основаны современные компьютеры. Традиционно применяется также байт (byte), равный 8 битам.
Предположим, получатель информации (наблюдатель) дважды принял одно и то же сообщение. Он получил двойной объем данных, но получил ли он двойное количество информации? Интуиция подсказывает, что нет - вторая копия не содержала новых сведений. Информацию, содержащуюся в сообщении, можно трактовать в аспекте того, насколько она была ранее неизвестна и, следовательно, является новой или неожиданной.
Количество информации I определяется через понятие неопределенности состояния (энтропию). Приобретение информации сопровождается уменьшением неопределенности, поэтому количество информации можно измерять количеством исчезнувшей неопределенности.
Пусть в сообщении наблюдателем получены сведения о некоторой части реальности (системе). До принятия сообщения получатель имел некоторые предварительные (априорные) сведения a о системе. Мерой его неосведомленности о системе является функция H(a), которая в то же время служит и мерой неопределенности состояния системы.
После получения сообщения b получатель приобрел в нем информацию Ib(a), уменьшившую его неосведомленность (неопределенность состояния системы) так, что она стала равна Hb(a). Тогда количество информации Ib(a) о системе, полученной в сообщении b, определится как Ib(a) = H(a) - Hb(a).
Таким образом, количество информации в сообщении измеряется изменением (уменьшением) неопределенности состояния системы после получения сообщения.
Если конечная неопределенность Hb(a)обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации Ib(a) = H(a). Иными словами, энтропия системы H(a) может рассматриваться как мера информации.
Энтропия системы H(a), имеющей N возможных состояний, согласно формуле Шеннона равна
,
где Pi - вероятность того, что система находится в i-м состоянии.
Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны ,
энтропия определяется соотношением
.
Часто информация кодируется числовыми кодами в той или иной системе счисления. Одно и то же количество цифр (символов) в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения
N = mn,
где N - число всевозможных отображаемых состояний;
m - основание системы счисления (разнообразие символов, применяемых в алфавите);
n - число символов в сообщении.
Приведем пример. По каналу связи передается n - символьное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N = mn , то при равной вероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет равно I = log N = n log m.
Эта формула известна как формула Хартли. Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I = Vд , полученных по каналу связи. Для неравновероятных состояний системы всегда I < Vд = n.
Наиболее часто логарифм берут по основанию 2. В этом случае количество информации измеряют в битах.
Коэффициент информативности сообщения определяется отношением количества информации к объему данных, т.е.
, причем 0 < Y < 1.
C увеличением Y уменьшаются затраты на обработку информации. Поэтому обычно стремятся к повышению информативности.
Дата публикования: 2015-10-09; Прочитано: 432 | Нарушение авторского права страницы | Мы поможем в написании вашей работы!