Сигналы и линейные системы 4 страница

С другой стороны, если информация неразрывно связана с "разумом", то в этом случае нельзя отказать в "разуме" и электронной вычислительной машине, обыгрывающей в шахматы чемпиона мира, а равно и любым устройствам технической кибернетики, так как все они имеют системы сбора, передачи, накопления, хранения и обработки информации той или иной степени сложности, и на основе этой информации способны формировать сигналы обратной связи для управления определенными процессами.

В технических отраслях знаний, где вопросы соотношения информации с разумом не стоят на первом месте, преобладает понимание информации в виде отображения такого всеобщего свойства материи, как разнообразие, как характеристики внутренней организованности материальных систем, процессов или явлений по множеству состояний, которые для них возможны. В такой трактовке информация существует независимо от того, воспринимается она каким-либо "разумом" или нет, и является одним из свойств материальных объектов. "Информация есть информация, а не материя и не энергия" (Норберт Винер). Это свойство в какой-то мере имеет потенциальный характер. Информация может проявлять себя при взаимодействии объектов или процессов, может возникать (создаваться) и исчезать (уничтожаться).

Но и в такой трактовке возникает много вопросов, на которые трудно дать однозначные ответы. Насекомое третичного периода, неизвестное в настоящее время ученым, прилипло к капле смолы хвойного дерева. Новый слой смолы закрыл насекомое. Дерево упало, и его занесло песком. Смола превратилась в янтарь. Янтарь в потенциале содержит полную информацию о насекомом, потому как в нем десятки тысяч фрагментов ДНК - информация, достаточная для восстановления ДНК и воспроизводства насекомого, если не в настоящее время, то в ближайшем будущем. Но когда она возникла? В момент появления насекомого с его ДНК? В момент прилипания к смоле? В момент окаменения? Можно ли говорить о появлении информации, если еще не существовал субъект, способный извлечь и использовать эту информацию? Наконец, янтарь с насекомым найден и попал на глаза палеонтолога. Определен новый вид насекомого. Появилась первая частичная информация? Так может быть, информация появляется только при активном и целенаправленном воздействии на объект исследований? А если янтарь оказался непрозрачным, и его переплавили? Исчезла ли информация? И можно ли считать, что она вообще была?

Ответы на эти и подобные им вопросы тяготеют к двум полюсам, а по существу, к двум диаметрально противоположным философским позициям.

Сторонники первой позиции понимают под информацией только то, что может восприниматься, обрабатываться, осмысливаться и использоваться, т.е. является продуктом процесса сбора, организации, систематизации и использования сведений о материальных объектах и процессах.

Противоположная позиция, это понятие информации как свойства объектов и процессов воспринимать и перерабатывать внутреннее состояние и внешнее воздействие окружающей среды, сохранять его результаты и передавать их другим объектам. С этой позиции все материальные объекты и процессы являются источниками, носителями и потребителями информации, на основе которой и идет развитие реального мира. По существу, это соответствует принятию материальности информации и информационной основы мироздания.

При неопределенности самого понятия информации можно достаточно обоснованно считать, что информация проявляется, хранится и передается от одного объекта к другому в материально - энергетической форме в виде сигналов. Сигналом, как материальным носителем информации, может быть любой физический процесс (электрический, магнитный, оптический, акустический и пр.), определенные параметры которого (амплитуда, частота, энергия, интенсивность и др.) однозначно отображают информационные данные (сообщения).

Количественная мера информации. Теория любого явления начинается с появления количественных взаимоотношений между объектами исследований, т.е. при установлении принципов измеряемости каких-либо свойств объектов. Единицу количественной меры информации - БИТ (сокращение binary digit - двоичная цифра), впервые предложил Р. Хартли в 1928 году. 1 бит - это информация о двух возможных равновероятных состояниях объекта, неопределенность выбора из двух равновероятных событий. Математически это отображается состоянием 1 или 0 одного разряда двоичной системы счисления. Количество информации Н (в битах), необходимое и достаточное для полного снятия неопределенности состояния объекта, который имеет N равновозможных состояний, измеряется как логарифм по основанию 2 из числа возможных состояний:

H = log ₂ N. (1.4.1)

Соответственно, двоичный числовой информационный код одного из N возможных состояний объекта занимает Н двоичных разрядов.

Пример. Необходимо поднять груз на определенный этаж 16 -ти этажного здания (нумерация этажей 0-15, N = 16). Сколько бит информации полностью определяют задание?

H = log₂ N = log₂ 16 = 4.

Следовательно, 4 бита информации необходимы и достаточны для полного снятия неопределенности выбора. В этом можно убедиться применением логики исчисления с последовательным делением пополам интервалов состояний. Например, для 9-го этажа:

1. Выше 7-го этажа? Да = 1. 2. Выше 11-го этажа? Нет = 0.

3. Выше 9-го этажа? Нет = 0. 4. Выше 8-го этажа? Да = 1.

Итог: этаж номер 9 или 1001 в двоичном исчислении, четыре двоичных разряда.

Если в приведенном примере на этажах имеется по 4 квартиры с нумерацией на каждом этаже 0-3 (М=4), то при адресации груза в квартиру потребуется еще 2 бита информации. Такой же результат получим, если вместо независимой нумерации этажей и квартир на этажах (два источника неопределенности) будем иметь сквозную нумерацию квартир (обобщенный источник):

H = log ₂ N + log ₂ M = log ₂ 16 + log ₂ 4 = 6 º log ₂ (N ´ M) = log ₂ 64 = 6,

т.е. количество информации отвечает требованию аддитивности: неопределенность объединенного источника равна сумме неопределенностей исходных источников, что соответствует интуитивному требованию к информации: она должна быть однозначной, а ее количество должно быть одним и тем же независимо от способа задания.

Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Так, если за единицу неопределенности принять три равновероятных состояния, то для определения, например, одной фальшивой золотой монеты (более легкой) из 27 внешне неотличимых монет потребуется только H = log ₃ 27 = 3, т.е. три взвешивания на равноплечных весах. Логику исчисления взвешиваний предлагается определить самостоятельно.

Двоичная мера информации получила общее признание в связи с простотой реализации информационной техники на элементах с двумя устойчивыми состояниями. В десятичном исчислении единицей информации является один десятичный разряд - ДИТ.

Энтропия источника информации. Степень неопределенности состояния объекта (или так называемого источника информации) зависит не только от числа его возможных состояний, но и от вероятности этих состояний. При неравновероятных состояниях свобода выбора для источника ограничивается. Так, если из двух возможных состояний вероятность одного из них равна 0.999, то вероятность другого состояния соответственно равна 1-0.999 = 0.001, и при взаимодействии с таким источником результат практически предрешен.

В общем случае, в соответствии с теорией вероятностей, источник информации однозначно и полно характеризуется ансамблем состояний U = {u₁, u₂,..., u_N} с вероятностями состояний соответственно {р(u₁), р(u₂),..., р(u_N)} при условии, что сумма вероятностей всех состояний равна 1. Мера количества информации, как неопределенности выбора дискретным источником состояния из ансамбля U, предложена К. Шенноном в 1946 году и получила название энтропии дискретного источника информации или энтропии конечного ансамбля:

H(U) = - p_n log₂ p_n. (1.4.2)

Выражение Шеннона совпадает с выражением Больцмана для энтропии физических систем при оценке степени разнообразия их состояний. Мера энтропии Шеннона является обобщением меры Хартли на случай ансамблей с неравновероятными состояниями, в чем нетрудно убедиться, если в выражении (1.4.2) значение p_n заменить значением p=1/N для ансамбля равновероятных состояний. Энтропия конечного ансамбля H(U) характеризует неопределенность, приходящуюся в среднем на одно состояние ансамбля.

Учитывая, что в дальнейшем во всех математических выражениях, касающихся энтропии, мы будем использовать только двоичное основание логарифма, индекс 2 основания логарифма в формулах будем подразумевать по умолчанию.

ui	pi	ui	pi	ui	pi	ui	pi	ui	pi
а	.064	з	.015	о	.096	х	.009	э	.003
б	.015	и	.064	п	.024	ц	.004	ю	.007
в	.039	й	.010	р	.041	ч	.013	я	.019
г	.014	к	.029	с	.047	ш	.006	-	.124
д	.026	л	.036	т	.056	щ	.003
е,ё	.074	м	.026	у	.021	ъ,ь	.015
ж	.008	н	.056	ф	.020	ы	.016

Пример. Вычислить энтропию ансамбля 32 букв русского алфавита. Вероятности использования букв приведены в таблице. Сравнить энтропию с неопределенностью, которая была бы у алфавита при равновероятном их использовании.

Неопределенность на одну букву при равновероятности использования:

H(u) = log 32 = 5

Энтропия алфавита по ансамблю таблицы:

H(u) = - 0.064 log 0.064 - 0.015 log 0.015 -.................. - 0.143 log 0.143» 4.42.

Таким образом, неравновероятность состояний снижает энтропию источника.

Основные свойства энтропии:

1. Энтропия является величиной вещественной и неотрицательной, т.к. значения вероятностей p_n находятся в интервале 0-1, значения log p_n всегда отрицательны, а значения -p_n log p_n в (1.4.2) соответственно положительны.

2. Энтропия - величина ограниченная, т.к. при p_n Þ 0 значение -p_n×log p_n также стремится к нулю, а при 0 < p_n £ 1 ограниченность суммы всех слагаемых очевидна.

3. Энтропия равна 0, если вероятность одного из состояний источника информации равна 1, и тем самым состояние источника полностью определено (вероятности остальных состояний источника равны нулю, т.к. сумма вероятностей должна быть равна 1).

4. Энтропия максимальна при равной вероятности всех состояний источника информации:

H_max(U) = - (1/N) log (1/N) = log N.

Рис. 1.4.1.

5. Энтропия источника с двумя состояниями u₁ и u₂ при изменении соотношения их вероятностей p(u₁)=p и p(u₂)=1-p определяется выражением:

H(U) = -[p log p + (1-p) log (1-p)],

и изменяется от 0 до 1, достигая максимума при равенстве вероятностей. График изменения энтропии приведен на рис. 1.4.1.

6. Энтропия объединенных статистически независимых источников информации равна сумме их энтропий.

Рассмотрим это свойство на двух источниках информации u и v. При объединении источников получаем обобщенный источник информации (u,v), который описывается вероятностями p(u_nv_m) всех возможных комбинаций состояний u_n источника u и v_m источника v. Энтропия объединенного источника при N возможных состояниях источника u и М возможных состояниях источника v:

H(UV) = - p(u_nv_m) log p(u_nv_m),

Источники статистически независимы друг от друга, если выполняется условие:

p(u_nv_m) = p(u_n)×p(v_m).

С использованием этого условия соответственно имеем:

H(UV) = - p(u_n)p(v_m) log [p(u_n)p(v_m)] =

= - p(u_n) log p(u_n) p(v_m) - p(v_m) log p(v_m) p(u_m).

С учетом того, что p(u_n) = 1 и p(v_m) = 1, получаем:

H(UV) = H(U) + H(V). (1.4.3)

7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, игнорируя содержательную сторону ансамбля. Это расширяет возможности использования энтропии при анализе самых различных явлений, но требует определенной дополнительной оценки возникающих ситуаций, т.к. из рис. 1.4.1 следует, что энтропия состояний может быть неоднозначной.

Энтропия непрерывного источника информации должна быть бесконечна, т. к. неопределенность выбора из бесконечно большого числа возможных состояний бесконечно велика.

Разобьем диапазон изменения непрерывной случайной величины U на конечное число n малых интервалов Du. При реализации значений u в интервале (u_n, u_n+Du) будем считать, что реализовалось значение u_n дискретной случайной величины U', вероятность реализации которой:

p(u_n<u<u_n+Du) = p(u) du» p(u_n) Du.

Энтропия дискретной величины U':

H(U') = - p(u_n) Du log (p(u_n) Du).

Заменяем log (p(u_n) Du) = log p(u_n)+log Du, принимаем во внимание, что сумма p(u_n)Du по всем возможным значениям u_n равна 1, и получаем:

H(U') = - p(u_n) Du log p(u_n) – log Du. (1.4.4)

В пределе, при Du ® 0, получаем выражение энтропии для непрерывного источника:

H(U) = - p(u) log p(u) du – . (1.4.5)

Значение энтропии в (1.4.5), как и ожидалось, стремится к бесконечности за счет второго члена выражения. Для получения конечной характеристики информационных свойств непрерывных сигналов используют только первый член выражения (1.4.5), получивший название дифференциальной энтропии. Ее можно трактовать, как среднюю неопределенность выбора произвольной случайной величины по сравнению со средней неопределенностью выбора случайной величины U', имеющей равномерное распределение в диапазоне (0-1). Действительно, для такого распределения p(u_n) = 1/N, Du = 1/N, и при N ® ¥ из (1.4.4) следует:

H(U') = - (log N)/N - log Du ® - .

Соответственно, разность энтропий дает дифференциальную энтропию:

h(U) = H(U) – H(U') = - p(u) log p(u) du. (1.4.6)

Дифференциальная энтропия не зависит от конкретных значений величины U:

h(U+a) = h(U), a = const,

но зависит от масштаба ее представления:

h(kU) = h(U) + log k.

Практика анализа и обработки сигналов обычно имеет дело с сигналами в определенном интервале [a, b] их значений, при этом максимальной дифференциальной энтропией обладает равномерное распределение значений сигналов:

h(U) = - p(u) log p(u) du = log (b-a).

По мере сужения плотности распределения значение h(U) уменьшается, и в пределе при p(u) ® d(u-c), a<c<b стремится к нулю.

Информационная емкость сигналов существенно зависит от типа сигналов и определяет требования к каналам передачи данных.

Для каналов передачи дискретных сигналов (дискретные каналы связи) используют понятия технической и информационной скорости передачи данных.

Под технической скоростью передачи подразумевают число элементарных сигналов (символов), передаваемых по каналу в единицу времени. Простейший элементарный символ – однополярный импульс длительностью t на тактовом интервале T. В дискретных каналах используют, как правило, двуполярные импульсы, положительные на первой половине интервала Т и отрицательные на второй половине. Это позволяет поддерживать нулевой потенциал в кабеле и выполнять тактовую синхронизацию приемо-передачи сигналов. Единицей измерения технической скорости V_t = 1/T служит БОД – один символ в секунду. Полоса пропускания канала связи ограничивается предельной частотой F_пред по уровню затухания сигнала до уровня помех, при этом значение технической скорости передачи данных не может быть выше F_пред.

При известной технической скорости V_t скорость передачи информации измеряется в битах в секунду и задается соотношением:

V_h = V_t H(s),

где H(s) – энтропия символа. Для двоичных дискретных символов [0, 1] при постоянной амплитуде импульсов значение H(s) равно 1. При числе L возможных равновероятных уровней амплитуды импульсов (уровень помех меньше разности уровней амплитуд импульсов) значение H(s) равно log L.

Информационная емкость сигнала или полное количество информации в сигнале S (сообщении, кодовой последовательности/слове) определяется полным количеством N = t/T энтропии символов в битах на интервале задания сигнала t:

I_t(S) = N log L = (t/T) log L. (1.4.7)

Увеличение числа уровней L увеличивает пропускную способность каналов связи, но усложняет аппаратуру кодирования данных и снижает помехоустойчивость связи.

Для непрерывных сигналов передача по каналам связи возможна только при условии, что максимальная информационная частота в сигнале F_max не превышает предельной частоты F_пред передачи сигналов каналом связи. Для оценки информационной емкости непрерывного сигнала выполним его дискретизацию с интервалом Dt = 1/2F_max. Как установлено Котельниковым и Шенноном, по мгновенным отсчетам непрерывного сигнала с таким интервалом дискретизации аналоговый сигнал может быть восстановлен без потери информации. При полной длительности сигнала T_s число отсчетов:

N = T_s/Dt = 2F_max T_s.

Определим максимально возможное число выборок в каждом отсчете при наличии шума в канале со средней мощностью Р_ш = d². При средней мощности сигнала P_s = s²:

L = = .

Информационная емкость сигнала:

I(S) = 2F_max T_s log L. (1.4.8)

Информационные возможности сигнала возрастают с расширением его спектра и превышением его уровня над уровнем помех.

литература

1. Баскаков С.И. Радиотехнические цепи и сигналы: Учебник для вузов. - М.: Высшая школа, 1988.

9. Даджион Д., Мерсеро Р. Цифровая обработка многомерных сигналов. – М.: Мир, 1988. – 488 с.

10. Дмитриев В.И. Прикладная теория информации: Учебник для вузов. - М.: Высшая школа, 1989.

12. Игнатов В.А. Теория информации и передачи сигналов. - М.: Советское радио, 1979.

14. Купер Дж., Макгиллем А. Вероятностные методы анализа сигналов и систем. – М.: Мир, 1989.

15. Лосев А.К. Линейные радиотехнические цепи: Учебник для вузов. - М.: Высшая школа, 1971.

18. Оппенгейм А.В., Шафер Р.В. Цифровая обработка сигналов. – М.: Связь, 1979. – 416 с.

25. Сергиенко А.Б. Цифровая обработка сигналов. / Учебник для вузов. – СПб.: Питер, 203. – 608 с.

28. Колесник В.Д., Полтырев Г.Ш. Курс теории информации. – М.: Наука, 1982. – 416 с.

Главный сайт автора ~ Лекции по сигналам ~ Практикум

О замеченных опечатках, ошибках и предложениях по дополнению: [email protected].