![]() |
Главная Случайная страница Контакты | Мы поможем в написании вашей работы! | |
|
Наличие шума в канале связи приводит к тому, что условная энтропия не равна нулю. Условную энтропию
Шеннон назвал ненадёжностью канала, так как она зависит от шума в канале связи. В результате возникает вопрос, существует ли метод кодирования, позволяющий передавать информацию с определённой скоростью
. На это вопрос отвечает теорема Шеннона (Шеннон стр.280).
Пусть дискретный канал обладает пропускной способностью , а дискретный источник – энтропией
. Если
<
, то существует такая система кодирования, что сообщения источника могут быть переданы по каналу с произвольно малой частотой ошибок, (или со сколь угодно малой энтропией
). Если
>
, то можно закодировать источник таким образом, что ненадёжность
канала будет меньше, чем
, где
сколь угодно мало. Не существует способа кодирования, обеспечивающего ненадёжность, меньшую, чем
.
Нет доказательства
Пример 4.1. Определим пропускную способность двоичного симметричного канала связи. Модель двоичного симметричного канала показан на рисунке 4.4.
В канал связи поступают символы 1 и 0, отображающие реальные физические сигналы.
1) Канал симметричный. Вероятности искажения символов равны , вероятности неискажённого приема символов равны
.
2) Канал стационарный, так как условные вероятности не зависят от времени.
Пропускную способность вычислим по формуле (4.8). Энтропию определим из условия
при отсутствии шума. Энтропия
принимает максимальное значение, равное 1, при
. Условная энтропия равна
Подставляя полученные величины в (4.8), получим
.
Как видно из формулы, пропускная способность зависит скорости поступления символов в канал и от вероятности искажения символов.
Положим, задан ансамбль сообщений X с распределением вероятностей P, (Таблица 4.2). Сообщения генерируются со скоростью .Способ кодирования определён и каждому сообщению приписан двоичный код. Энтропия ансамбля сообщений X равна
,
Таблица 4.2 | |||
X | P | код | |
![]() | 0.6 | ||
![]() | 0.2 | ||
![]() | 0.1 | ||
![]() | 0.07 | ||
![]() | 0.03 | ||
вероятности реализации символов «1» и «0» равны
,
энтропия ансамбля символов Y равна
,
средняя длина кода равна .
Положим, в канале действует такой шум, что вероятность ошибочного перехода равна . Сможет ли канал обеспечить передачу сообщений?
1)
2) Будем считать . Тогда
= 204.826
.
3) Будем считать . Тогда
и пропускная способность канала равна
=
= = 108.764
Как видно, пропускная способность канала значительно ниже скорости генерации информации источником и часть информации может быть утеряна. В этом случае можно уменьшить скорость генерации сообщений или уменьшить вероятность ошибок
. Положим, каким-то образом удалось уменьшить вероятности ошибок до величины
0.01. Тогда пропускная способность канала увеличится до величины
. При таком соотношении скорости поступления информации
в канал и пропускной способности канала искажения информации в канале из-за величин
и
не будет.
Дата публикования: 2014-11-18; Прочитано: 352 | Нарушение авторского права страницы | Мы поможем в написании вашей работы!