Теорема Шеннона для дискретного канала связи с помехами

Для дискретного канала с помехами Шенноном доказана следующая теорема.

Если поток информации, вырабатываемой источником, достаточно близок к пропускной способности канала, то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений, вырабатываемых источником, а вероятность ошибочного опознания любого переданного сообщения будет сколько угодно малой.

Математически близость потока информации источника и пропускной способности канала записывается в виде равенства:

(8.3)

где - скорость передачи информации; С – пропускная способность канала; s - сколь угодно (бесконечно) малая величина. То, что вероятность ошибочного опознания будет сколь угодно малой записывается следующим образом:

(8.4)

где - вероятность ошибочного опознания переданного сообщения, – сколь угодно малая величина.

Обратное утверждение теоремы состоит в том, что если поток информации источника превышает пропускную способность канала, то не существует способа кодирования, обеспечивающего передачу любого сообщения с малой вероятностью ошибки.

Эта теорема определяет соотношение между скоростью создания сообщений источником, пропускной способностью канала при наличии помех и достоверностью опознания сообщения на приеме.

Теорема Шеннона не указывает практических путей нахождения оптимального кода, чтобы приблизить скорость передачи информации к пропускной способности канала. Установлено лишь, что для приближения скорости передачи к предельной величине общим методом для каналов с помехами и без помех является кодирование длинных сообщений.

Вместе с тем, значение этих теорем трудно переоценить. До К. Шеннона считалось, что в канале с заданными помехами обеспечить сколь угодно малую вероятность ошибки можно только при стремлении скорости передачи к нулю. Теоремы показывают, что путем выбора соответствующего способа кодирования можно обеспечить сколь угодно малую вероятность ошибки при конечной скорости передачи информации.