Вывод формулы Шеннона для случая двухсимвольного алфавита

<gooooogling result="http://otvet.mail.ru/question/41235829/">

Для вывода формулы Шеннона необходимо вычислить математическое ожидание «количества информации», содержащегося в цифре из источника информации.

Пусть мы имеем алфавит, состоящий из N символов, с частотной характеристикой P1, P2,.PN, где Pi - вероятность появления i – го символа. Все вероятности неотрицательны и их сумма равна 1. Тогда средний информационный вес символа (количество информации, содержащееся в символе) такого алфавита выражается формулой Шеннона: H = P1 log2 (1/ P1) + P2 log2 (1/ P2) +.+ PN log2 (1/ PN) где H – количество информации, N – количество возможных событий, Pi – вероятность отдельных событий

</gooooogling>

<собственные выводы>

Для двоичного кода методика сводится к следующему: 1. Буквы алфавита выписываются в основной столбец в порядке убываниявероятностей. 2. Две последние буквы, с наименьшими вероятностями, объединяют водну и приписывают ей суммарную вероятность объединяемых букв. 3. Буквы алфавита сортируются заново. 4. Операции 1-3 повторяются. Процесс повторяется до тех пор, пока не получим единственную букву свероятностью равной 1. Таблица 1 |Комбин|Буквы |Вероятнос|Вспомогательные столбцы ||ации | |ти | ||1 |011 |010 |001 |00011 |00010 |00001 |00000| Определим среднюю длину полученных комбинаций по формуле: lср = k(p(а0)+...+ k(p(аК-1); где К - объем алфавита источника, к- число повторений элемента в кодовом дереве, р(..) - вероятностиэлементов. Для полученного кода средняя длина комбинаций [pic]=1(p(Z0)+ 3(p(Z1)+3(p(Z2)+ 3(p(Z3)+ 5(p(Z4)+5(p(Z5)+5(p(Z6)+5(p(Z7)=0,729+(3(0,081)+(3(0,081)+(3(0,081)+(5(0,009)+(5(0,009)+(5(0,009)+(5(0,001)= 1,59(бит/элемент) Эта средняя длина меньше 3Т, но фактически полученные комбинациисодержат информацию о трех элементарных сигналах, поэтому средняя длинановых комбинаций в расчете на 1 букву первоначального двоичного кодасоставляет: 1,59/3= 0,53. В результате средняя длительность полученныхкомбинаций в расчете на 1 элементарную посылку Т' меньше Т - заданной длительности элементарной посылки.Средняя длительность полученных комбинаций будет равна: Тэф= Нср(Т=0.53(5(10-6=2.65(10-6 Таким образом, средняя длина символа, после статического кодирования,стала меньше.Найдем производительность источника после кодирования:Производительность источника при эффективном кодировании Н'эф(А)= Н(А)/Т = 0.469 /2.65(10-6 = 176981.13 = 1.77(105 бит/с.Полученное значение выше найденного ранее, то есть в результате примененияэффективного кодирования повышается производительность источника

</собственные выводы>