Модели, используемые в теории информации

ГЛАВА 7. ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ

Теория информации – это наука, изучающая количественные закономерности, связанные с хранением, передачей и обработкой информации.

Задачами теории информации являются:

1. Установление меры количества информации.

2. Определение наивысшей скорости передачи информации по каналу при заданных условиях (пропускная способность канала).

3. Определение наилучших условий кодирования, обеспечивающих скорость передачи близкой к пропускной способности канала.

ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ СООБЩЕНИЙ

Определение количества информации

Модели, используемые в теории информации

Понятие информация тождественно понятию сведения или сообщения и ассоциирует с наличием по крайней мере двух взаимодейст­вующих систем А и В (рис.7.1), одна из которых А является источником информации (передатчиком), а вторая В является наблю­даемой системой (приемником). Вне указанной схемы понятие «информация» те­ряет смысл.

Сообщение — это то, что можно сообщить, а сообщить можно только состояние системы. Следовательно, сообщение — это состояние системы.

Любая система описывается совокупностью физических величин, которые могут зависеть от параметров. Состояния системы — это значения физической величины или парамет­ра (изображение, звук, текст и т.д.), которые ее описывают. Например, имеется передатчик, вырабатывающий аналоговый сигнал, фрагмент реализации которого представлен на рис.7.2. Данный сигнал подвергается дискретизации по времени и квантованию по уровню. Разрешенные уровни как раз и являются состояниями источника.

Для данного примера количество возможных состояний источника равно четырем.

В качестве другого примера можно привести источник, вырабатывающий текст, состоящий из букв какого-либо языка. Буквы данного языка вместе с разделительными знаками и пробелом будут являться возможными состояниями для данного источника.

Система случайным образом с некоторой вероятностью может оказаться в том или другом состоянии (передатчик приходит в состояние, которое соответствует передаваемому символу). Следовательно, множество состояний системы можно рассматривать как множество случайных событий. Две системы будем называть статистически зависимыми, если состояние одной из них влияет на вероятность состояния другой.

Множества состояний Х и Y, соответственно систем А и В, в зависимости от того, в каком отношении они рассматри­ваются, можно интерпретировать как множества состояний, сообщений и событий.

Два множества Х и Y с заданным на них двумерным рас­пределением пред­ставляют собой модель двух взаимодействующих систем. Эта модель лежит в основе построения статистической теории информации.

Сигнал — это материальный переносчик информации в пространстве и во времени.

Сигналы могут быть динамическими и статическими. Динамические сигналы предназначены для передачи информации в пространстве (электромагнитная волна). Статические сигналы (запоминающие устройства) предназначены для передачи информации во времени (например, компакт-диск). Точнее, сигналом является не сам материальный переносчик информации, а его состояние. Поэтому целесообразно конкретизировать опреде­ление сигнала.

Сигнал — это значение физической величи­ны, которое отображает состояние источника сообщений. Поскольку множество сообщений можно рассматривать как множество случайных событий, то отображающее значение физической величины также будет случайным.

Следовательно, случайную величину можно принять в качестве модели сигнала. В общем случае состояние системы (передаваемое сообщение) изменяется во времени, поэтому указанная случайная величина также будет изменяться во времени, зависеть от времени. Случайная величина, завися­щая от времени (некоторого параметра), называется слу­чайным процессом. Следовательно, случайный процесс является моделью сигнала.

В соответствии с решением вопроса установления меры количества и качества информации в теории информации выделяют три основные направления: структурное, статистическое и семантическое.

Структурная теория рассматривает дискретное строение массивов информации и их измерение простым подсчетом информационных символов; применяется для оценки предельных возможностей информационных систем вне зависимости от условий их применения.

Статистическая теория оперирует понятием «энтропия» как мерой неопределенности или неожиданности, учитывающей вероятность, а, следовательно, информативность сообщений; применяется для оценки информационных систем в конкретных условиях их применения.

Семантическая теория учитывает целесообразность, ценность, полезность или существенность информации; применяется для оценки эффективности логического опыта.

Остановимся на рассмотрении мер информации в первых двух теориях.