Определение с помощью собственной информации

Также можно определить энтропию случайной величины, введя предварительно понятия распределения случайной величины , имеющей конечное число значений:^[2]

и собственной информации:

Тогда энтропия определяется как:

От основания логарифма зависит единица измерения количества информации и энтропии: бит, нат, трит или хартли.

Вопрос