Формула Шеннона

Энтропия системы H(a) согласно формуле Шеннона равна:

где H(a)– энтропия системы;

N – число возможных состояний системы;

P(i) –вероятность того, что система находится в i-ом состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны Pi = 1/N, её энтропия определяется соотношением:

Энтропия системы может рассматриваться как мера недостающей информации.