Цель занятия: Ознакомление со структурой информационного процесса и математическими моделями сигнала

Рассмотрим теперь ситуацию, когда в процессе передачи сигнал искажается шумом, т.е. некоторым случайным процессом. Предположим, что в соответствии с обозначениями, что Z - ансамбль сигналов на входе дискретного канала, а Z^* - ансамбль сигналов на его выходе. Наличие в канале шума приводит к тому, что по сигналу Z^* нельзя однозначно определить сигнал Z. С точки зрения теории информации этот эффект характеризуется наличием потерь информации или ненадежностью канала H(Z/Z^*)>0 и описывается соотношением I(Z,Z^*)=H(Z)-H(Z/Z^*), где I(Z,Z^*) - информация переданная по каналу, H(Z)-энтропия или собственная информация ансамбля сигналов на входе канала. Переходя к информационным характеристикам, отнесенным к единице времени последнее выражение можно переписать в виде Iў(Z,Z^*)=H ў(Z)-H(Z/Z^*) (2.13), где Iў (Z,Z^*)-скорость передачи информации по каналу, Hў (Z)-производительность ансамбля на входе канала, H ў(Z/Z^*)-потери информации в единицу времени. При этом пропускная способность канала С хоть и уменьшается по сравнению со случаем канала без шума см.(1.25б), но в общем случае принимает конечное значение (за исключением не принимаемого здесь во внимание экстремального случая обрыва канала). Положим далее, что имеется некоторый дискретный источник с производительностью Hў(U) < C сообщения которого необходимо передать по каналу. Для решения этой задачи по-прежнему воспользуемся системой передачи изображенной на рисунке 2.1. Функции выполняемые кодером и декодером в этом случае будут ясны из дальнейших рассуждений.
Поскольку Hў(U) < C возможна передача информации I(Z,Z^*) по каналу со скоростью Iў (Z,Z^*)=Hў (U) (2.14), т.к. по определению С- максимально возможная скорость передачи информации по каналу. Приравнивая правые части неравенств (2.13-14), приходим к соотношению Hў (Z)-Hў(Z/Z^*)=H ў(U). Из которого следует, что Hў(Z)=H ў(U)+Hў (Z/Z^*)> Hў(U). Последнее неравенство означает, что производительность ансамбля сигналов Z (назовем его кодом) на входе канала должна быть выше производительности источника сообщений U, и следовательно Z, кроме информации об U должен содержать дополнительную собственную информацию. При этом если бы удалось ввести дополнительную информацию таким образом, чтобы при прохождении сигнала Z по каналу с шумом вследствие ненадежности канала терялась бы именно она, а не полезная информация о сообщении U, то оказалось бы возможным обеспечить безошибочную передачу сообщений U по каналу с шумом с конечной скоростью H ў(U)< C. Таким образом задачей кодера в данной ситуации является согласование источника с каналом, заключается во внесении в сообщение источника избыточности, обладающей описанной выше свойством. Однако не тривиальным является вопрос, а возможно ли в принципе построение такого кодера? Идея борьбы с мешающим влиянием шума за счет введения избыточности, при кодировании дискретных сообщений, существовала и до появления Теории Информации и трактовалась следующим образом: предполагалось сообщение двоичного источника U₁ =0 и U₂ =1 передавать по симметричному двоичному каналу (см. п1.6) с вероятностями ошибок Р< 0,5 двумя кодовыми комбинациями, содержащими соответственно n единиц или n нулей. ; . Если в месте приема регистрировать 1 или 0 по большинству принятых знаков в комбинации т.е. принимать так называемое мажоритарное декодирование, то ясно, что ошибка произойдет при условии, если в кодовой комбинации не верно будет принято n/2 или более символов. Согласно закону больших чисел вероятность уклонения числа ошибок m в кодовой комбинации длины n от их математического ожидания nЧp (см. задачу 1.11) стремится к 0 при n®?, т.е.

e ® 0.

Поскольку nЧp < 0,5n при n®? вход обеспечит безошибочный прием. Однако передачу одного символа необходимо будет осуществлять бесконечно долго, т.е. скорость передачи информации по каналу будет стремится к 0. Таким образом на основании приведенных ранее рассуждений полагалось, что без ошибочная передача информации в канале с шумом возможна лишь в пределе при нулевой скорости передачи. Поэтому положительные решения сформулированного выше вопроса позволяют существенно изменить представление о потенциальных возможностях систем передачи дискретной информации и имеет принципиальное значение в развитии теории и практики связи. Ответ на данный вопрос содержится в теореме Шеннона для дискретного канала с шумом.