Основные свойства условной энтропии

1. Если сообщения X и Y статистически независимы, то условная энтропия сообщений Y относительно X равна безусловной энтропии сообщений Y: H(Y/X)=H(Y). В этом случае вся информация, которую содержат сообщения Y, является новой по отношению к информации, содержащейся в сообщениях X.

В самом деле, если сообщения X и Y статистически независимы, то p(y_j/x_i)=p(y_j) и общая условная энтропия может быть записана в форме

Так как сумма вероятностей всех состояний Х равна единице , то или Р(Y/X)=Р(Y).

2. Если сообщения X и Y являются статистически жестко связанными, то условная энтропия сообщений Y относительно X равна нулю H(Y/X)=0. Это означает, что сообщения Yне содержат никакой новой информации сверх той, которая содержится в сообщениях Х.

3. Условная энтропия всегда меньше безусловной энтропии H(Y/X)<H(Y).

В случае если имеются n - зависимых систем, энтропия объединения будет равна:

H(X₁; X₂; X₃;...;X_n) = H(X₁)+H(X₂ /X₁)+H(X₃ /X₁ X₂) +... +H(X_n / X ₁X ₂... X_n). Энтропия первой системы входит полностью, энтропия второй системы с учетом того, что первая определена, третей - первые две определены и т.д.

Вопрос

Кодирование информации — процесс преобразования сигнала из формы, удобной для непосредственного использования информации, в форму, удобную для передачи, хранения или автоматической переработки.

· В теории кодирования — отображение передаваемых данных на кодовые слова.

· В теории передачи данных — преобразование знаков в сигналы.

· Перекодирование видео — преобразование видеофайла из одного формата в другой или изменение его свойств (разрешение, битрейт) исходного.

· В цифровом телевидении и радио.

Кодирование информации в компьютере

Современный компьютер может обрабатывать числовую, текстовую, графическую, звуковую и видео информацию. Все эти виды информации в компьютере представлены в двоичном коде, т. е. используется алфавит мощностью два (всего два символа 0 и 1). Связано это с тем, что удобно представлять информацию в виде последовательности электрических импульсов: импульс отсутствует (0), импульс есть (1). Такое кодирование принято называть двоичным, а сами логические последовательности нулей и единиц - машинным языком.

Вид информации	Двоичный код
Числовая
Текстовая
Графическая
Звуковая
Видео

Каждая цифра машинного двоичного кода несет количество информации равное одному биту. Данный вывод можно сделать, рассматривая цифры машинного алфавита, как равновероятные события. При записи двоичной цифры можно реализовать выбор только одного из двух возможных состояний, а, значит, она несет количество информации равное 1 бит. Следовательно, две цифры несут информацию 2 бита, четыре разряда --4 бита и т. д. Чтобы определить количество информации в битах, достаточно определить количество цифр в двоичном машинном коде. Кодирование текстовой информации В настоящее время большая часть пользователей при помощи компьютера обрабатывает текстовую информацию, которая состоит из символов: букв, цифр, знаков препинания и др. Традиционно для того чтобы закодировать один символ используют количество информации равное 1 байту, т. е. I = 1 байт = 8 бит. При помощи формулы, которая связывает между собой количество возможных событий К и количество информации I, можно вычислить сколько различных символов можно закодировать (считая, что символы - это возможные события): К = 2I = 28 = 256,т. е. для представления текстовой информации можно использовать алфавит мощностью 256 символов. Суть кодирования заключается в том, что каждому символу ставят в соответствие двоичный код от 00000000 до 11111111 или соответствующий ему десятичный код от 0 до 255. Необходимо помнить, что в настоящее время для кодировки русских букв используют пять различных кодовых таблиц (КОИ - 8, СР1251, СР866, Мас, ISO), причем тексты, закодированные при помощи одной таблицы не будут правильно отображаться в другой кодировке. Наглядно это можно представить в виде фрагмента объединенной таблицы кодировки символов. Одному и тому же двоичному коду ставится в соответствие различные символы.

Двоичный код	Десятичный код	КОИ8	СР1251	СР866	Мас	ISO
		б	В	-	-	Т

Впрочем, в большинстве случаев о перекодировке текстовых документов заботится не пользователь, а специальные программы - конверторы, которые встроены в приложения. Начиная с 1997 г. последние версии Microsoft Windows&Office поддерживают новую кодировку Unicode, которая на каждый символ отводит по 2 байта, а, поэтому, можно закодировать не 256 символов, а 65536 различных символов. Чтобы определить числовой код символа можно или воспользоваться кодовой таблицей, или, работая в текстовом редакторе Word 6.0 / 95. Для этого в меню нужно выбрать пункт "Вставка" - "Символ", после чего на экране появляется диалоговая панель Символ. В диалоговом окне появляется таблица символов для выбранного шрифта. Символы в этой таблице располагаются построчно, последовательно слева направо, начиная с символа Пробел (левый верхний угол) и, кончая, буквой "я" (правый нижний угол). Для определения числового кода символа в кодировке Windows (СР1251) нужно при помощи мыши или клавиш управления курсором выбрать нужный символ, затем щелкнуть по кнопке Клавиша. После этого на экране появляется диалоговая панель Настройка, в которой в нижнем левом углу содержится десятичный числовой код выбранного символа.

Вопрос

Канал связи (англ. channel, data line) — система технических средств и среда распространения сигналов для односторонней передачи данных от источника к получателю. В случае использования проводной линии связи, средой распространения сигнала может являться оптическое волокно или витая пара. Канал связи является составной частью канала передачи данных.

Информация передаётся в виде сообщений от некоторого источника информации к её приёмнику посредством канала связи между ними. Источник посылает передаваемое сообщение, которое кодируется в передаваемый сигнал. Этот сигнал посылается по каналу связи. В результате в приёмнике появляется принимаемый сигнал, который декодируется и становится принимаемым сообщением.

Примеры:

1. сообщение, содержащее информацию о прогнозе погоды, передаётся приёмнику (телезрителю) от источника — специалиста-метеоролога посредством канала связи — телевизионной передающей аппаратуры и телевизора;

2. живое существо своими органами чувств (глаз, ухо, кожа, язык и т.д.) воспринимает информацию из внешнего мира, перерабатывает её в определенную последовательность нервных импульсов, передает импульсы по нервным волокнам, хранит в памяти в виде состояния нейронных структур мозга, воспроизводит в виде звуковых сигналов, движений и т.п., использует в процессе своей жизнедеятельности.

Передача информации по каналам связи часто сопровождается воздействием помех, вызывающих искажение и потерю информации.

Всякое событие, всякое явление служит источником информации.

Любое событие или явление может быть выражено по-разному, разным способом, разным алфавитом. Чтобы информацию более точно и экономно передать по каналам связи, ее надо соответственно закодировать.

Информация не может существовать без материального носителя, без передачи энергии. Закодированное сообщение приобретает вид сигналов-носителей информации. Они-то и идут по каналу. Выйдя на приемник, сигналы должны обрести вновь общепонятный вид.

С этой целью сигналы пробегают декодирующее устройство, приобретая форму, удобную для абонента. Система связи сработала, цель достигнута. Когда говорят о каналах связи, о системах связи, чаще всего для примера берут телеграф. Но каналы связи — понятие очень широкое, включающее множество всяких систем, самых разных.

Чтобы ясен был многоликий характер понятия “канал связи”, достаточно привести несколько примеров.

При телефонной передаче источник сообщения — говорящий. Кодирующее устройство, изменяющее звуки слов в электрические импульсы, — это микрофон. Канал, по которому передается информация — телефонный провод. Та часть трубки, которую мы подносим к уху, выполняет роль декодирующего устройства. Здесь электрические сигналы снова преобразуются в звуки. И наконец, информация поступает в “принимающее устройство” — ухо человека на другом конце провода. А вот канал связи совершенно другой природы — живой нерв. Здесь все сообщения передаются нервным импульсом. Но в технических каналах связи направление передачи информации может меняться, а по нервной системе передача идет в одном направлении.

Еще один пример — вычислительная машина. И здесь те же характерные черты. Отдельные системы вычислительной машины передают одна другой информацию с помощью сигналов. Ведь вычислительная машина — автоматическое устройство для обработки информации, как станок — устройство для обработки металла. Машина не создает из “ничего” информацию, она преобразует только то, что в нее введено.

Общая схема передачи информации

На этом шаге мы рассмотрим передачу информации по каналу связи с помехами.

Ранее источник информации был определен как объект или субъект, порождающий информацию и представляющий ее в виде сообщения, т.е. последовательности сигналов. При этом человек в информационном взаимодействии с окружающей средой ограничен возможностями собственных органов чувств. Однако спектр процессов, на основе которых производится передача информации, может быть расширен за счет использования средств связи.

Средства связи – совокупность устройств, обеспечивающих преобразование первичного сообщения от источника информации в сигналы заданной физической природы, их передачу, прием и представление в форме удобной потребителю.

Средств связи существует множество: почта, телефон, радио, телевидение, компьютерные сети и пр. Однако при всем разнообразии их конкретной реализации можно выделить общие элементы, представленные на рисунке 1.

Источник информации (ИИ) выдает ее в виде первичного сообщения, представленного последовательностью первичных сигналов. Для дальнейшей передачи эти сигналы преобразуются в сигналы такой физической природы, которые могут распространяться в заданном материальном носителе – формируется вторичное сообщение. Примерами преобразователей являются: мегафон или телефонный аппарат, преобразующие голосовые сигналы в электрические; радиопередатчик, преобразующие голосовые сигналы в радиоволны; телекамера, преобразующая изображение в последовательность электрических импульсов; модем, переводящий высокочастотные компьютерные сигналы в аналоговые низкочастотные и обратно, и пр. В общем случае при преобразовании выходные сигналы не полностью воспроизводят все особенности первичного сообщения, а лишь его существенные стороны, т.е. при преобразовании часть информации теряется. Например, полоса пропускания частот при телефонной связи от 300 до 3400 Гц, в то время как частоты, воспринимаемые человечески ухом, лежат в интервале 16 – 20000 Гц (т.е. телефонные линии "обрезают" высокие частоты, что приводит к искажениям звука); в черно-белом телевидении при преобразовании теряется цвет изображения. Именно в связи с возможными потерями встает задача выработки таких способов представления и последующего преобразования первичного сообщения, которые обеспечивали бы возможно более полную сохранность исходной информации и, одновременно, согласование со скоростью передачи информации по данной линии связи.

При необходимости перед преобразованием или в процессе его может осуществляться кодирование первичного сообщения кодером (К). Кодирование (точнее, первичное кодирование) может осуществляться непосредственно источником информации, например, человеком при работе на передатчике с использованием азбуки Морзе. Возможно совмещение кодера с преобразователем, например, при работе человека за клавиатурой телеграфного аппарата или компьютера он вводит знаки естественного языка, а уже устройством они переводятся в коды, которые затем передаются.

Непосредственная передача осуществляется передатчиком вторичного сообщения. Он инициирует некоторый нестационарный процесс, обеспечивающий распространение сигналов в канале связи.

Канал связи – это материальная среда, а также физический или иной процесс, посредством которого осуществляется передача сообщения, т.е. распространение сигналов в пространстве с течением времени.

Каналы связи в зависимости от характера сигналов, передаваемых по ним подразделяются на дискретные и аналоговые. Примером дискретного канала является компьютерная сеть; аналогового – телефонная линия и радиоканал.

Ниже приведены примеры некоторых каналов связи.

Таблица 1. Примеры каналов связи
Канал связи	Среда	Носитель сообщения	Процесс, используемый для передачи сообщения
Почта, курьеры	Среда обитания человека	Бумага	Механическое перемещение носителя
Телефон, компьютерные сети	Проводник	Электрический ток	Перемещение электрических зарядов
Радио, телевидение	Электромагнитное поле	Электромагнитные волны	Распространение электромагнитных волн
Зрение	Электромагнитное поле	Световые волны	Распространение световых волн
Слух	Воздух	Звуковые волны	Распространение звуковых волн
Обоняние, вкус	Воздух, пища	Химические вещества	Химические реакции
Осязание	Поверхность кожи	Объект, воздействующий на органы осязания	Теплопередача, давление

Любой реальный канал связи подвержен внешним воздействиям, а также в нем могут происходить внутренние процессы, в результате которых искажаются передаваемые сигналы и, следовательно, связанная с ними информация. Такие воздействия называются шумами (помехами). Источники помех могут быть внешними, например, так называемые "наводки" от мощных потребителей электричества или атмосферных явлений, приводящие к появлению нарушений в радиосвязи; одновременное действие нескольких близко расположенных однотипных источников (одновременный разговор нескольких человек). К помехам могут приводить и внутренние особенности данного канала, например, физические неоднородности носителя; паразитные явления в шинах; процессы затухания сигнала в линии связи из-за большой удаленности. Если уровень помех оказывается соизмерим с интенсивностью несущего сигнала, то передача информации по данному каналу оказывается вообще невозможной. Однако и при относительно низких уровнях шумов они могут вызывать искажения передаваемых сигналов и, следовательно, частичную потерю связанной с ними информации. Существуют и применяются методы защиты от помех, например, экранирование электрических линий связей; улучшение избирательности приемного устройства и т.д. Другим способом защиты от помех является использование специальных методов кодирования информации, о чем речь пойдет ниже.

После прохождения вторичного сообщения по каналу связи оно попадает в приемное устройство, где одновременно преобразуется в форму, необходимую для дальнейшей интерпретации. Если перед передачей применялось кодирование, после приема вторичное сообщение направляется в декодер (ДК) и лишь затем – к получателю (потребителю) информации. При этом декодер может быть совмещен с преобразователем (например, телеграфный аппарат или компьютер) или с приемником информации (радист, принимающий сигналы азбуки Морзе и интерпретирующий их).

Понятие линия связи охватывает все элементы представленной на рисунке 1 схемы от источника до приемника информации, то есть:

линия связи – это совокупность средств связи и канала связи, посредством которых осуществляется передача информации от источника к приемнику.

Характеристиками любой линии связи являются скорость, с которой возможна передача сообщения в ней, а также степень искажения сообщения в процессе передачи. Из этих параметров вычленим те, что относятся непосредственно к каналу связи, т.е. характеризуют среду и процесс передачи. При этом мы затронем только вопросы передачи по дискретному каналу связи.

Теория помехоустойчивого кодирования базируется на результатах исследований, проведенных Шенноном и сформулированных им в виде теоремы:

· при любой производительности источника сообщений, меньшей, чем пропускная способность канала, существует такой способ кодирования, который позволяет обеспечить передачу всей информации, создаваемой источником сообщений, со сколь угодно малой вероятностью ошибки;

· не существует способа кодирования, позволяющего вести передачу информации со сколь угодно малой вероятностью ошибки, если производительность источника сообщений больше пропускной способности канала.

Вопрос