Энтропия непрерывного ограниченного ансамбля

Энтропия ансамбля после квантования была записана как

.

Устремим интервал квантования к нулю, но оставим под знаком логарифма величину интервала квантования неизменной. Это представление сохранит размерность энтропии и показывает зависимость энтропии непрерывного ансамбля сообщений от величины интервала квантования

.

Максимальная энтропия непрерывного ансамбля зависит от вида плотности распределения вероятности , области определения значений случайного сигнала и априорных сведений относительно .

Определим плотность распределения вероятности , обеспечивающий максимум энтропии , при и ограничении

. (2.17)

Для решения задачи применим метод неопределённых множителей Лагранжа, и составим функционал

.

Приведём его к виду

.

Определим производную , которая будет равна

,

и приравняем её нулю

Достаточным условием равенства нулю интеграла от некоторой функции будет равенство нулю самой этой функции. Исходя из этого, имеем

= 0.

Разрешая полученное уравнение относительно , получим

. (2.18)

Чтобы вычислить величину , используем ограничение (2.17) и сделаем ряд преобразований

,

.

После подстановки значения параметра в (2.18) получим

,

.

Вывод.

Если имеется ограничение в виде нормировки плотности вероятности непрерывного ансамбля и область существования плотности вероятности ограничена постоянными a и b, то из всех возможных плотностей вероятности равномерный закон распределения вероятности обладает наибольшей энтропией.

Если число ограничений увеличивается, то вид плотности распределения вероятности изменится Положим, известно, что случайная величина принимает значения в интервале , математическое ожидание равно нулю и её дисперсия ограничена величиной .Далее покажем, что наибольшую энтропию даёт нормальный закон распределения.