Определение количества информации и энтропии

Количество информации I определяет изменение (уменьшение) неопределенности состояния системы.

Энтропия – это мера «хаотичности», неопределенности информации или состояния некоторой системы.

Пример. Получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы.

Энтропия, как мера недостающей информации

I_β(а) = Н(а)- Н_β(а)

Если конечная неопределенность Н_β(а) обратится в нуль, т.е. система а изучена полностью, то первоначальное неполное знание заменится полным знанием и количество информации I_β(а) = Н(а). Иными словами, энтропия системы Н(а) может рассматриваться как мера недостающей информации.