Формула Шеннона

" Правила по хранению, применению и транспортировке пестицидов и агрохимикатов" М.,1999.

1. Кордиамин (во флаконах) 30 мл

2. Валидол 10 табл.

3. Бесалол (бекарбон, беллалгин) № 10

4. Танин 50,0

5. Мятные таблетки (аэрон) 50 мл

6. Альбуцид натрия 30 % - ный раствор 50 мл

7. Альбуцидная мазь 30 % - ная 15 г

8. Хлорамин 2 - 5 % - ный раствор 50 мл

9. Борная кислота 50 г

10.1 % - ный раствор медного купороса 50 мл

11.Двууглекислая (питьевая) сода 50 г

12.Жженая магнезия 400 г

13.Марганцевокислый калий 5 г

14.Английская или глауберова соль (сернокислый натрий) 250 г

15.Нашатырный спирт 50 мл

16.Йодная настойка 5 % - ная 15 мл

17.Перекись водорода 100 мл

18.Спирт этиловый 100 мл

19.Активированный уголь (карболен) 200 г

20. Викасол в табл. 30 табл

21.Жгут кровоостанавливающий 1 шт

22.Аспирин 10 табл

23.Шины проволочные или сетчатые 2 штуки

24.Вата 250 г

25.Бинты разные 5 штук

26.Лейкопластырь 1 штуки

27.Ножницы 1 штука

Информации. Кодирование символьных, графических и звуковых данных. Структуры данных

Формула Шеннона

В общем случае, энтропия H и количество получаемой в результате снятия неопределенности информации I зависят не только от исходного количества рассматриваемых вариантов N, но и от вероятностей реализации каждого из вариантов P:{p₀, p₁, …p_N-1}, т. е.:

H = F(N, P)

Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году:

Рассмотрим, что такое логарифм log₂(p), называемый двоичным логарифмом:

Нахождение логарифма b по основанию a - это нахождение степени, в которую нужно возвести a, чтобы получить b.

log₂(1) = 0 => 2⁰ = 1

log₂(2) = 1 => 2¹ = 2

log₂(8) = 3 => 2³ = 8

log₂(10) = 3,32 => 2^3,32 = 10

Логарифм по основанию 10 называется десятичным:

log₁₀(100) = 2 => 10² = 100

log₁₀(2) = 0,301 => 10^0,301 = 2

Отношение двоичного логарифма к десятичному:

log₂2 / log₁₀2 = 1 / 0,301= 3,32

Основные свойства логарифмов:

log(a^b) = b*log(a)

log(a*b) = log(a) + log(b)

log(a/b) = log(a) - log(b)

log(1/а) = 0 - log(а) = -log(а)

Отсюда знак минус в формуле Шеннона не означает, что энтропия – отрицательная величина. Объясняется это тем, чтовероятность p_i =< 1 по определению, а логарифм числа меньшего единицы - величина отрицательная.

По свойству логарифма , и формулу Шеннона также можно записать и во втором варианте - без минуса перед знаком суммы.

При этом интерпретируется как частное количество информации , получаемое в случае реализации i-ого случайного варианта.

Итак, следует сделать вывод, что энтропию по формуле Шеннона можно считать средней характеристикой – математическим ожиданием распределения случайной величины {I₀, I_1,… I_N-1}.

Пример расчета энтропии по формуле Шеннона: если известно, что мужчин и женщин в учреждении одинаково (два равновероятных варианта), тогда неопределенность, кого вы встретите первым, зайдя в учреждение, составит 1 бит. Проверка этого предположения проведена в таблице 1.

Таблица 1

	pi	1/pi	Ii=log2(1/pi), бит	pi*log2(1/pi), бит
Ж	1/2		log2(2)=1	1/2 * 1=1/2
М	1/2		log2(2)=1	1/2 * 1=1/2
å				H = 1 бит

Если же в учреждении состав работников распределяется, как: ¾ - женщины, ¼ - мужчины, тогда неопределенность относительно того, кого вы встретите первым, зайдя в учреждение, будет рассчитана рядом действий, показанных в табл. 2.

Таблица 2

	pi	1/pi	Ii=log2(1/pi), бит	pi*log2(1/pi), бит
Ж	3/4	4/3	log2(4/3) = 0,42	3/4 * 0,42 = 0,31
М	1/4	4/1	log2(4) = 2	1/4 * 2 = 0,5
å				H = 0,81 бит

Как видно, энтропия во втором случае, а, следовательно, и количество информации, получаемой при полном снятии неопределённости, несколько меньше, чем в первом случае, так как вероятность встретить женщину преобладает, и ясно, что скорее вы встретите женщину, чем мужчину.