Дифференциальная энтропия

Аналитическое выражение для энтропии источника непрерывных сообщений получают путем предельного перехода из формулы для энтропии дискретного источника .

Если одномерная плотность распределения случайного стационарного процесса равна , то вероятность того, что будет находиться в интервале , равна (рис.7.4).

Если всего интервалов квантования , то энтропия источника непрерывных сообщений

. (7.11)

.В результате предельного перехода при получим

. (7.12)

Первую составляющую (7.12)

(7.13)

называют дифференциальной энтропией источника непрерывных сообщений. Вторая составляющая ® и показывает, что энтропия источника непрерывных сообщений стремится к бесконечности.

Скорость передачи информации, пропускную способность и другие основные информационные характеристики источников определяют через разность энтропии. Поэтому вторая составляющая в этих операциях сокращается и величиной можно характеризовать информационные свойства источников непрерывных сообщений. В отличие от энтропии источников дискретных сообщений может принимать положительные, отрицательные и нулевые значения. Величина изменяется при изменении масштаба измерения .

Определим дифференциальную энтропию для сигнала с плотностью распределения

,

где - математическое ожидание, - дисперсия.

По определению первый интеграл . А второй интеграл равен дисперсии

.

Поэтому

. (7.14)

Эпсилон-энтропия источников.

Реальная чувствительность приемных устройств органов чувств человека и разрешающая способность различных информационных измерительных систем ограничены. Поэтому воспроизводить непрерывные сообщения абсолютно точно не требуется. Наличие помех и искажений сигналов в реальных каналах делает точное воспроизведение сообщений невозможным. Поэтому вводят понятия эпсилон-энтропии.

Эпсилон-энтропия – это то среднее количество информации в одном независимом отсчете непрерывного случайного процесса , которое необходимо для воспроизведения этого сигнала с заданной среднеквадратической погрешностью .

Среднее количество принятой информации можно определить как разность дифференциальной энтропии источника непрерывных сообщений и информации , потерянной из-за шумов квантования.

Эпсилон-энтропия – это то минимальное среднее количество информации , которое позволяет считать и «похожими» в среднеквадратическом смысле:

,

достигается при нормальном распределении, тогда - условная энтропия, где – математическое ожидание квадрата значения аддитивной помехи (шума квантования).

Тогда эпсилон-энтропия будет равна:

. (7.15)

Если непрерывный случайный процесс распределен по нормальному закону, то дифференциальная энтропия источника непрерывных сообщений

.

Эпсилон-энтропия такого источника

. (7.16)

Эпсилон-производительность источника. Данная информационная характеристика источника непрерывных сообщений определяется следующим выражением:

[бит/с], (7.17)

где – максимальная частота сигнала X (t).

За время существования сигнала максимальный объем информации, выданный источником,

, (7.18)

где - дисперсия сигнала , распределенного по нормальному закону. Поэтому объем сигнала является одновременно экстремальной информационной характеристикой сигнала. Объем сигнала – это максимальное количество информации, которое сигнал может переносить.

Избыточность источника непрерывных сигналов определяют так же, как и для источника дискретных сигналов:

. (7.19)

Таким образом, основными информационными характеристиками источников непрерывных сообщений являются: энтропия, условная энтропия, эпсилон-энтропия, эпсилон-производительность, избыточность, объем информации, аналитические выражения которых определяются через значения характеристик одномерной плотности распределения случайного стационарного процесса.