Глава 1. Основы теории информации

Информация поступает от источника. Понятие «источник информации» относится только к организованным (кибернетическим) системам окружающего мира (машины, растения, животные, человек). Такие системы принято называть физическими системами. Каждую совокупность качественных и количественных признаков системы называют состоянием. В случае, если эти признаки принимают только отдельные, разделенные конечными интервалами значения, система называется системой с дискретным множеством состояний или дискретной системой. Например, выключатель или реле – дискретная система с двумя состояниями; проволочный потенциометр - дискретная система с числом состояний, равным числу витков проволоки. В случае, если признаки непрерывно заполняют некоторую область значений, система называется системой с непрерывным множеством состояний или непрерывной системой. В качестве примера можно привести тот же потенциометр, но изготовленный из сплошного материала. Физические системы принято также делить на стационарные и нестационарные. Стационарными называются системы, состояния (характеристики) которых не зависят от начала отсчета времени. Строго говоря таких систем не существует, т.к. в окружающем нас мире все меняется («нельзя войти в одну и ту же воду дважды», - говорят философы). Но в первом приближении обычно физические системы считают стационарными (квазистационарными).

Информация всегда представляется в виде сообщения (совокупности сведений об источнике), интересующегося потребителя. Сообщение всегда передается в материально-энергетической форме – в виде сигнала (электрического, светового, электромагнитного, звукового и др.)

Преобразование сообщения в сигнал обычно осуществляется в виде двух операций – кодирования и модуляции. Кодирование представляет собой преобразование сообщения в последовательность кодовых символов (например, кодирование телеграммы при отправлении), а модуляция – преобразование этих символов в сигналы, пригодные для передачи по каналу связи (например, передаваемый радиостанцией радиосигнал). На выходе из канала связи производятся обратные операции: демодуляция (извлечение полезной составляющей из радиосигнала с помощью детектора радиоприемника) и декодирование (расшифровка телеграммы в приемном устройстве).

Теория информации – это наука о получении, преобразовании, накоплении, отображении и передаче информации. Теория информации рассматривает также математические модели детерминированных и случайных сигналов, вопросы, связанные с оценкой количества передаваемой информации, эффективности, помехоустойчивости и пропускной способности каналов связи.

Ниже излагаются основные сведения по теории информации.