Дифференциальная (относительная) энтропия

Пусть – плотность распределения непрерывной случайной величины x. Воспользуемся выражением для энтропии, введенное выше в разд. 1.5:

,

где в качестве будем использовать вероятностные меры интервалов одинаковой ширины .

Каждая из этих вероятностных мер численно равна площади полосы шириной , вырезанной из фигуры, ограниченной плотностью распределения и осью абсцисс, как это показано на рис. 11.

По теореме о среднем, эта вероятностная мера равна площади прямоугольника, равновеликого заштрихованной криволинейной трапеции. Основание этого прямоугольника , высота его равна , то есть плотности распределения в некоторой средней точке . Тогда

,

.

Теперь для получения окончательного решения необходимо совершить предельный переход при D x ® 0. Однако из-за того, что , предел . Этого следовало ожидать, поскольку непрерывная случайная величина на любом сколь угодно малом отрезке может принимать бесчисленное множество значений, и в отличие от дискретной величины все ее значения образуют более чем счетное множество. Мера неопределенности такого ансамбля не может быть меньше бесконечности вне зависимости от вида плотности распределения. Для того чтобы, несмотря на это обстоятельство, получить возможность сопоставления непрерывных случайных величин по значению энтропии, условились отсчитывать энтропию непрерывной случайной величины от некоторого уровня, который принимается за нуль. В качестве такого нулевого отсчета энтропии непрерывной случайной величины используется энтропия другой непрерывной случайной величины, плотность распределения которой равномерна на интервале (0, 1). График этой плотности распределения представлен на рис. 12. Ее аналитическая запись имеет вид

Как и ранее, ,

,

где = 1. С учетом этого равенства

.

Энтропия этой случайной величины в пределе при D x ® 0 также стремится к бесконечности, но принимая эту энтропию за начало отсчета, определим относительную (дифференциальную) энтропию непрерывной случайной величины, как предел разности:

.

Итак, относительная, или дифференциальная энтропия отсчитывается от энтропии случайной величины, распределенной равномерно на интервале (0, 1], поэтому она может быть отрицательной. Выпишем отдельно формулу, которая определяет относительную энтропию:

.