Скорость передачи информации по дискретному каналу без помех

Скорость передачи информации – это количество информации, передаваемое по каналу в единицу времени. Если тактовый генератор канала выдает V элементарных импульсов в единицу времени, а средняя длина кода одного символа первичного алфавита составляет K сигналов вторичного (бинарного) алфавита, то, очевидно, отношение V/K будет выражать число символов первичного алфавита, транслируемых по каналу за единицу времени. Если с каждым из символов первичного алфавита связано среднее количество информации Н (энтропия источника сообщений), то можно найти общее количество информации, передаваемой по каналу связи за единицу времени – эта величина называется скоростью передачи или (будем обозначать ее J).

, где Н – энтропия источника информации, определяемая известной формулой (3.8): .

Размерностью скорости J, как и пропускной способности C, является бит/с. Каково соотношение этих характеристик? Выразим V из (4.2) и получим:

. (4.4)

Согласно теории информации Шеннона при любом способе кодирования длина кода подчинена соотношению , хотя может быть сколь угодно близкой к этому значению. Следовательно, всегда J ≤ C, т.е. скорость передачи информации по каналу связи не может превысить его пропускной способности.

Пример 4.1. Первичный алфавит состоит из трех знаков с вероятностями p₁ = 0,2; p₂ = 0,7; p₃ = 0,1. Для передачи по каналу без помех используются равномерный двоичный код. Частота тактового генератора 500 Гц. Какова пропускная способность канала и скорость передачи?

Решение. Поскольку код двоичный, m = 2; C =V = 500 бит/с.

Энтропия источника: H = – 0,2·log₂0,2 – 0,7·log₂0,7 – 0,1·log₂0,1 = 1,16 бит

Поскольку код равномерный K H/log₂2 = 2 (т.е. для кодирования каждого знака первичного алфавита используется 2 элементарных разряда).

Следовательно, в силу (4.4), получаем:

(бит в секунду)

Видно, что реальная скорость передачи информации меньше пропускной способности. Так получается вследствие того, что каждый символ первичного алфавита, занимая два разряда, несет информации меньше двух бит. Если приблизить длину кода К к значению реальной энтропии, можно увеличить скорость передачи информации.