Измерение информации. Свойства информации. Информационная энтропия

Данные - факты или идеи, представленные в виде, пригодном для обработки автоматическими устройствами (или человеком). Информация - смысловое содержание сообщения. Можно сказать, что отличие информации от данных заключается в том, что информация – это полезная часть данных, которая несет смысловую нагрузку.

Максимальное количество информации в сообщении при наличии n возможных сообщений определяется по следующей формуле: Imax=log2(n). Однако количество передаваемой информации зависит как от источника, так и от свойств приемника.

Свойства информации (Х – это источник, Y – приемник): 1. I(X, Y)>=0 (позитивность) 2. I(X1, Y)+ I(X2, Y) <= I(X1+X2, Y) (неаддитивность) 3. I(X, Y) <= I(Y, Y) (возможность потери при передаче) 4. I(X, Y)= I(Y, X) (симметрия канала передачи данных)

Единица информации – 1 бит.

Энтропия случайной величины X есть математическое ожидание логарифма обратной вероятности.

Величина энтропии указывает среднее число битов, необходимое для различения (или записи) возможных значений случайной величины.

Свойства: 1. Энтропия – это мера неопределенности значений случайной величины. 2. Если вероятности всех значений случайной величины, кроме одного, равны нулю, энтропия равна нулю. 3. Если все значения случайной величины х1,..., хn равновероятны, энтропия максимальна.

Поступление новой информации всегда приводит к уменьшению энтропии.