Согласование источника с каналом по объемам алфавитов. Теоремы кодирования Шеннона и потенциальные возможности системы передачи информации

Под потенциальными возможностями систем передачи информации будем понимать возможности, определяемые теоремами кодирования, сформулированными Клодом Шенноном.

Теорема Шеннона для дискретного канала связи без помех

Из определения пропускной способности следует, что ставить знак равенства между пропускной способностью и скоростью передачи информации нельзя. Ответ на вопрос, в какой мере скорость передачи информации может быть приближена к пропускной способности канала, дают теоремы Шеннона. Для дискретного канала без помех ее формулировка сводится к следующему.

Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала, то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений, вырабатываемых источником, причем, скорость передачи информации будет весьма близка к пропускной способности канала.

Это утверждение имеет следующую форму математической записи:

(8.1)

где - скорость передачи информации; – пропускная способность канала; - сколь угодно (бесконечно) малая величина.

Обратное утверждение теоремы заключается в том, что невозможно обеспечить длительную передачу всех сообщений, если поток информации, вырабатываемый источником, без помех в канале связи превышает пропускную способность канала.

. (8.2)

Таким образом, теорема Шеннона утверждает, что при выполнении условия скорость передачи информации может быть в принципе сколь угодно приближена к пропускной способности канала. Это может быть обеспечено соответствующим кодированием сигналов.