Энтропия случайной величины

Случайная величина – это множество реализаций. Энтропия – характеристика случайной дискретной величины. Есть некоторые наблюдатели. Интерес для наблюдателей представляет: он должен вытащить некоторую случайную величину, после этого должен принимать решение, оно зависит от того, какую реализацию он вытащит. Действие наблюдателя оценивается множеством таких решений. Можно ввести средний риск - отнесенный к одному действию. Средняя неопределенность появления одной какой-либо реализации случайной величины оценивается энтропией.

- определение для дискретной величины.