Пропускная способность дискретного (цифрового) канала без помех

C = log(m) бит/символ

где m – основание кода сигнала, используемого в канале. Скорость передачи информации в дискретном канале без шумов равна его пропускной способности, когда символы в канале независимы, а все m букв алфавита равновероятны (используются одинаково часто).

</Определение>

<Ресёрч обджект>

Введение понятий энтропии, количества информации, скорости выдачи информации источником, избыточности позволяют характеризовать свойства информационных систем. Однако для сравнения информационных систем только такого описания недостаточно. Обычно нас интересует не только передача данного количества информации, но передача его в возможно более короткий срок; не только хранение определенного количества информации, но хранение с помощью минимальной по объему аппаратуры и т.п.

Пусть количество информации, которое передается по каналу связи за время Т равно

. Если передача сообщения длится Т единиц времени, то скорость передачи информации составит .

Это количество информации, приходящееся в среднем на одно сообщение. Если в секунду передается n сообщений, то скорость передачи будет составлять .

Пропускная способность канала есть максимально достижимая для данного канала скорость передачи информации:

(3.3)

Или максимальное количество информации, передаваемое за единицу времени:

Скорость передачи может быть технической или информационной.

Под технической скоростью V_T, называемой также скоростью манипуляции, подразумевается число элементарных сигналов (символов), передаваемых в единицу времени бод.

Информационная скорость или скорость передачи информации, определяется средним количеством информации, которое передается в единицу времени и измеряется (бит/сек). R=nH.

Для равновероятных сообщений составленных из равновероятных взаимно независимых символов

В случае если символы не равновероятны

В случае если символы имеют разную длительность

(3.4)

Выражение для пропускной способности отличается тем, что характеризуется максимальной энтропией

бит/сек

Для двоичного кода бит/сек

Пропускная способность является важнейшей характеристикой каналов связи. Возникает вопрос: какова должна быть пропускная способность канала, чтобы информация от источника X к приемнику Y поступала без задержек? Ответ на этот вопрос дает 1ая теорема Шеннона. (см выше)

Для дискретных каналов с помехами Шеннон дал вторую теорему.

2. Теорема Шеннона.

Пусть имеется источник информации X, энтропия которого в единицу времени равна H(X), и канал с пропускной способностью C. Если H(X)>C, то при любом кодировании передача сообщений без задержек и искажений невозможна. Если же H(X)<C, то любое достаточно длинное сообщение можно всегда закодировать так, что оно будет передано без задержек и искажений с вероятностью сколь угодно близкой к единице.

</Ресёрч обджект>