Основная теорема о кодировании при отсутствии помех

7.1.1 Интегрированный тематический план лекций модуля «Нервная система»

№	АНАТОМИЯ - 2	ГИСТОЛОГИЯ - 2	ФИЗИОЛОГИЯ - 2	ПРОПЕДЕВТИКА ВНУТРЕННИХ БОЛЕЗНЕЙ
1.			Функциональные особенности нервной системы в онтогенезе. Физиологические методы исследования функций нервной системы.
2.			Физиология спинного мозга.
3.			Интегративная деятельность коры большого мозга.
			Всего: 3 часа

7.1.2 Интегрированный тематический план практических занятий модуля «Нервная система»

№	АНАТОМИЯ - 2	ГИСТОЛОГИЯ - 2	ФИЗИОЛОГИЯ - 2	ПРОПЕД. ВН. БОЛЕЗНЕЙ
1.			Физиология спинного мозга и стволовых структур головного мозга. Методы исследования спинного мозга.
2.			Нервные центры, свойства нервных центров. Торможение в ЦНС.
3.			Методы исследования функций коры большого мозга. Цереброспинальная жидкость: функциональное значение, образование, циркуляция, реабсорбция.
			Всего: 9 часов

7.1. 3 Темы самостоятельной работы студента модуля «Нервная система»

№	АНАТОМИЯ - 2	ГИСТОЛОГИЯ - 2	ФИЗИОЛОГИЯ - 2	ПРОПЕД. ВНУТР.БОЛЕЗНЕЙ
1.			Особенности психомоторного развития у детей до года.
			Всего: 4 часа

Информатика – фундаментальная естественная наука, изучающая общие свойства информации, процессы, методы и средства ее обработки (сбор, хранение, преобразование, перемещение, выдача).

Отнесение информатики к фундаментальным наукам означает, что она имеет общенаучную значимость, т.е. ее понятия, законы и методы применимы не только в рамках самой науки, но и в иных научных и прикладных дисциплинах.

В информатике выделяется два направления – теоретическое и прикладное. Исследования в области теоретической информатики обеспечивают выявление и формулировку общих законов, касающихся информационных процессов, определение принципов функционирования технических систем, связанных с информационными процессами.

Прикладная информатика обеспечивает непосредственное создание информационных систем и программного обеспечения для них, а также их применение для решения практических задач.

Разделы теоретической информатики: теория информации; теория алгоритмов, теория кодирования; теория систем и моделей, теория конечных автоматов, математическое программирование.

В нашей стране сформировалось несколько научных направлений, каждое из которых имеет свою интерпретацию информатики.

1-е направление трактовки понятия «информатика» связано с трудами В.М. Глушкова, В.С. Михалевича, В.И. Гриценко («киевская школа» – рассматривают информатику как комплексную дисциплину, связанную с информационными технологиями и компьютеризованными системами, практически по определению конгресса).

2-е направление связано с трудами В.И. Сифорова, сводит информатику к учению об информации вообще, информологии (развитие теории информации по Шеннону).

3-е направление (Э.С. Бернштейн, Ю.А. Шрейдер) ставит в центр внимания семантические (содержательные) стороны информации, соотношение понятий «информация» и «знание», их функций в общественных системах.

Вопросы (не контрольные, просто задуматься).

1. Утверждение, что наше общество было бы другим, если бы не произошла компьютерная революция, принимается всеми. Наше общество лучше, чем могло бы быть? Или хуже? Ответили бы вы так же, если бы ваше положение в обществе было другим?

2. В какой мере компьютерные технологии и их применение должны контролироваться государством? Дают ли новые применения информационных технологий большую свободу или, наоборот, ограничивают ее? Можно ли быть членом современного технического общества и не прилагать никаких усилий, чтобы понять основы новых технологий?

3. По мере развития технологий наша система образования постоянно вынуждена пересматривать уровень абстракции, с которым дается новый материал. Так, студенты не изучают, как находить значение тригонометрических функций при помощи таблиц. Вместо этого используют калькуляторы в качестве абстрактных инструментов. Некоторые полагают, что деление на бумаге также должно уступить место абстракции. Какие еще примеры вы можете привести?

Может ли развитие телевидения (видео) заменить в будущем потребность в чтении? Устраняет ли наличие автоматической проверки орфографии необходимость владения навыками правописания?

4. В какой степени решения, принятые нами сейчас относительно технологий вообще и компьютерных технологий в частности, влияют на будущие поколения людей?

2. Теория информации

Как было отмечено выше, формирование любой фундаментальной науки требует решения 3-х основных задач:

- определение предметной области;

- создания системы основных понятий и аксиоматики;

- разработка математического аппарата.

2.1 Исходные понятия теории информации

Любая наука начинается со строгих определений используемых ею понятий и терминов. Было бы вполне разумным начать изложение основ теории информации именно с точного определения информации.

В Энциклопедии кибернетики дано следующее определение: «информация (informatio, лат. – разъяснение, изложение, осведомленность) одно из наиболее общих понятий науки, обозначающее некоторые сведения, совокупность каких-либо данных, знаний и т.п.»

В широком смысле «информация» - это отражение реального мира; в узком смысле – это любые сведения, являющиеся объектом хранения, передачи и преобразования.

Как правило, в естественнонаучных дисциплинах считается целесообразным вводить в научный язык только те величины, которые задаются описанием способа нахождения количественной меры, характеризующей это понятие. (Например, скорость – это перемещение материальной точки за единицу времени S / t, т.е. есть способы измерения перемещения S и времени t, а их отношение определяет новую величину).

Такой способ определения понятий называется операционным, и ему отдается предпочтение в научном знании, поскольку он обеспечивает однозначность и объективность, чего трудно добиться для категорий, не имеющих меры (например, «доброта» или «совесть»).

Но для такого определения понятия «информация» необходимо отделить ее от семантической (смысловой) основы, то есть не рассматривать содержательную сторону информации. Оценка смысла и ценности одной и той же информации различными людьми будет различной.

Операционное определение информации будет дано позже. Пока отметим следующую особенность, которой обладает любая информация – это категория нематериальная.

Следовательно, для существования и распространения в материальном мире она должна быть обязательно связана с какой-либо материальной основой – без нее информация не может проявиться, передаваться и сохраняться.

Материальный объект или среда, служащие для представления или передачи информации называют материальным носителем. Материальным носителем может быть бумага, воздух, лазерный диск, электромагнитное поле.

При этом хранение информации связано с некоторой характеристикой носителя, которая не меняется с течением времени, например, намагниченность области поверхности диска, буква на бумаге.

А передача информации, наоборот, связана с характеристикой, которая меняется с течением времени, например, амплитуда колебаний звуковой волны или напряжение в проводах.

Другими словами, хранение информации связано с фиксированным состоянием носителя, а распространение – с процессом, который протекает в носителе.

Состояния и процессы могут иметь физическую, химическую, биологическую или другую основу – главное, что они материальны.

Однако не с любым процессом можно связать информацию. Так, стационарный процесс (процесс с неизменной во времени характеристикой), информацию не переносит. Например, постоянный электрический ток, ровное горение лампы, равномерный гул – они содержат лишь ту информации, что процесс идет, что-то функционирует.

Иное дело, если лампу будем включать/выключать – чередованием вспышек и пауз можно представить и передать информацию (например, посредством азбуки Морзе).

Таким образом, для передачи необходим нестационарный процесс, то есть процесс, характеристики которого могут изменяться. При этом сама информация связывается не течением процесса, а с изменением какой-либо его характеристики.

Изменение характеристики носителя, которое используется для представления информации, называется сигналом, а значение этой характеристики, отнесенное к некоторой шкале измерений, называется параметром сигнала.

Примеры процессов, используемых для передачи информации и связанных с ним сигналов, приведены в таблице 2.1.

Таблица 2.1 Процессы, используемые для передачи информации

Способы передачи	Процесс	Параметры сигнала
Звук	Звуковые волны	Высота и громкость звука
Радио, ТВ	Радиоволны	Частота, амплитуда или фаза радиоволны
Изображение	Световые волны	Частота и амплитуда световых волн
Телефон, компьютерная сеть	Электрический ток	Частота и амплитуда электрических колебаний в линиях связи

Однако одиночный сигнал не может содержать много информации. Для передачи информации используется ряд следующих друг за другом сигналов.

Последовательность сигналов называется сообщением.

Таким образом, информация от источника к приемнику передается в виде сообщения. Можно сказать, что сообщение выступает в качестве материальной оболочки для представления информации при передаче.

Следовательно, сообщение служит переносчиком информации, а информация является содержанием сообщения.

Соответствие между сообщением и содержащейся в нем информацией называется правилом интерпретации сообщения.

Это соответствие может быть однозначным и неоднозначным.

В первом случае сообщение имеет лишь одно правило интерпретации. (Например, по последовательности точек, тире и пауз в азбуке Морзе однозначно восстанавливается переданная буква).

Неоднозначность соответствия между сообщением и информацией возможна в двух случаях:

одна и та же информация может передаваться различными сообщениями (например, прогноз погоды по ТВ, радио, газета, телефон);

одно и тоже сообщение может содержать различную информацию для разных приемников (например, в 1936 г. фраза по радио «Над всей Испани­ей безоблачное небо»).

Информационный процесс – это изменение с течением времени содержания информации или представляющего его сообщения.

Различных видов информационных процессов немного:

- порождение (создание) новой информации;

- преобразование информации (то есть порождение новой информации в результате обработки имеющейся);

- уничтожение информации;

- передача информации (распространение в пространстве).

На самом деле все перечисленные события происходят не непосредственно с самой информацией, а с сообщением, то есть ее материальной оболочкой. И с этих позиций возможно только два типа процессов (таблица 2.2):

- изменение сообщения с сохранением содержащейся в нем информации;

- изменение сообщения, сопровождающееся преобразованием информации.

Рассмотрим вопросы, связанные с хранением информации. Хранение связывается с фиксацией параметра материального носителя, который далее с течением времени не меняется. Следовательно, запись информации на носитель и ее последующее считывание подпадают под определение информационного процесса, но само хранение – нет.

Таблица 2.2 Виды информационных процессов

С сохранением	С преобразованием
ß	ß
- передача информации без потерь	- создание /уничтожение
- обратимая перекодировка	- необратимая перекодировка
	- передача с потерями
	- обработка с появлением новой информации

(Хранение можно было назвать информационным состоянием, однако такого понятия в информатике нет).

С передачей информации связана еще одна пара исходных сопряженных понятий – источник и приемник информации.

Источник информации – это субъект или объект, порождающий информацию и представляющий ее в виде сообщения.

Приемник информации – это субъект или объект, принимающий сообщение и способный правильно его интерпретировать.

Сочетание «субъект/объект» означает, что источники и приемники информации могут быть одушевленными или неодушевленными.

Для того чтобы объект являлся источником информации, он должен не только ее породить, но и иметь возможность инициировать какой-то нестационарный процесс и связать информацию с его параметрами (то есть создать сообщение).

Например, если человек что-то придумал, но держит это в своей голове, он не является источником информации; однако он им становится, как только свою идею изложит на бумаге (текст, рисунок, схема и прочее) или выскажет словами.

В определении приемника информации важным представляется то, что факт приема сообщения еще не означает получение информации;

Информация может считаться полученной только в том случае, если приемнику известно правило интерпретации сообщения. Другими словами, понятия «приемник сообщения» и «приемник информации» не тождественны. Например, слыша речь на незнакомом языке, человек оказывается приемником сообщения, но не приемником информации.

Для связи с внешним миром у человека 5 органов чувств. Следовательно, воспринимать сообщение можно посредством одного/группы органов, но это не означает, что человек может использовать для передачи/приема информации иные процессы, им не воспринимаемые (например, радиоволны).

В этом случае человек-источник использует промежуточное устройство, преобразующее его сообщение в радиоволны – радиопередатчик, а человек-приемник – другое промежуточное устройство – радиоприемник, преобразующий радиоволны, в звук. Такой подход расширяет возможности человека в осуществлении приема/передачи информации (рисунок 2.1).

2.2 Формы представления информации

Передача информации производится с помощью сигналов, а самим сигналом является изменение во времени некоторой характеристики носителя. В этом смысле информацию сообщения можно представить функцией X (t), характеризующей изменение во времени материально-энергетических параметров физической среды, в которой осуществляются информационные процессы.

Сигнал называют непрерывным или аналоговым, если его параметр может принимать любое значение в пределах некоторого интервала (рисунок 2.2 а). (Источниками аналоговых сигналов обычно являются различные природные объекты – температура, влажность, давление воздуха, а также речь, музыка, изображение).

Сигнал называется дискретным, если его параметр может принимать конечное число значений в пределах некоторого интервала (часы, книга, сообщения, передаваемые с помощью жестов и т.п.) (рисунок 2.2 б).

Поскольку последовательность сигналов есть сообщение, качество прерывности и непрерывности сигналов переносится и на сообщение – существует понятие непрерывного сообщения и дискретного сообщения.

Но нельзя приписывать данное качество самой информации, поскольку информация – категория нематериальная и не может обладать свойством дискретности или непрерывности.

Одна и та же информация может быть представлена посредством различных сообщений, в том числе и отличным характером сигналов. Например, речь (лекция) можно записать в аналоговом виде с помощью магнитофона, а можно записать посредством дискретного набора букв.

По этой причине в информатике существует и используется сочетание дискретная информация и аналоговая информация. Но их нужно понимать только как сокращение полных фраз: информация, представленная посредством непрерывных/дискретных сигналов.

Поэтому в дальнейшем будем говорить формах представления информации в сообщении или о видах сообщений.

Принципиальным различием непрерывных и дискретных сигналов является то, что дискретные сигналы можно обозначить, то есть приписать каждому возможному конечному значению сигнала знак, который будет отличать данный сигнал от другого.

Знак – это элемент некоторого конечного множества отличных друг от друга сущностей.

Природа знака может быть любой – буква, жест, рисунок, сигнал светофора, определенный звук и т.д. Природа знака определяется носителем сообщения и формой представления информации в сообщении.

Вся совокупность знаков, используемых для представления дискретной информации, называется набором знаков.

Набор знаков, в котором установлен порядок их следования, называется алфавитом.

Следовательно, алфавит – это упорядоченная совокупность знаков. Благодаря этому порядку между знаками устанавливаются отношения «больше-меньше»: для двух знаков X и Y принимается, что X<Y если порядковый номер X меньше порядкового номера Y.

Пример алфавита – цифры (0-9), русские буквы А-Я.

Поскольку при передаче сообщения параметр сигнала должен меняться, то очевидно, что минимальное количество различных значений равно 2 и, следовательно, алфавит содержит минимум 2 знака. Такой алфавит называют двоичным. Верхней границы числа знаков в алфавите не существует (иероглифы – каждый из них – понятие, их десятки тысяч).

Знаки, использующиеся для обозначения фонем человеческого языка, называются буквами, а их совокупность – алфавитом языка.

Таким образом, понятия «знак», «буква» и «символ» нельзя считать тождественными.

2.3 Преобразование сообщений

Поскольку имеется 2 типа сообщений, между ними возможны 4 варианта преобразований:

Непрерывное (N1) Непрерывное (N2)

Дискретное (D1) Дискретное (D2)

Осуществимы и применяются на практике все виды преобразований.

Примерами устройств, в которых осуществляется преобразование N1àN2, являются:

- микрофон (звук преобразуется в электрический сигнал)

- магнитофон/видеомагнитофон (чередование областей намагничивания преобразуется в звук и изображение)

- телекамера (изображение и звук преобразуется в электрический сигнал)

- теле- и радио- приемники (радиоволны преобразуются в электрический сигнал, а затем в звук и изображение);

- аналоговая вычислительная машина (один электрический сигнал преобразуется в другой электрический сигнал).

Особенностью данного варианта преобразования является то, что оно всегда сопровождается частичной потерей информации. Потери связаны с шумами, которые порождает само информационное техническое устройство, и которые воздействуют извне. Эти помехи примешиваются к основному сигналу и искажают его.

Поскольку параметры сигнала могут быть любыми (из некоторого интервала), то невозможно определить ситуацию – был ли сигнал искажен или он изначально имел такую величину. В ряде устройств происходит искажение в силу особенностей преобразования в них сообщения. Например, черно-белый телевизор теряет цвет изображения, кино- и видео- изображения теряют объем – они плоские.

Обсудим общий подход к преобразованию типа NàD. С математической точки зрения перевод сигнала из аналоговой формы в дискретную означает замену описывающей его непрерывной функции Z (t) на некотором отрезке (t ₁, t ₂) конечным множеством (массивом) { Z_i, t_i } (i =0, … n) где n – количество точек разбиения временного интервала.

Подобное преобразование называется дискретизацией непрерывного сигнала и осуществляется посредством двух операций:

- развертки во времени;

- квантования по величине сигнала.

Развертка по времени состоит в том, что наблюдение за значением величины Z производится не непрерывно, а лишь в определенные моменты времени с интервалом D t, .

Квантование по величине – это отображение вещественных значений параметра сигнала в конечное множество чисел, кратных некоторой постоянной величине – шагу квантования D Z.

Совместное выполнение обеих операций эквивалентно нанесению масштабной сетки на график Z (t) (рисунок 2.3).

В качестве пар значений (Z_i, t_i) выбираются узлы сетки, расположенные наиболее близко к Z (t). Полученное таким образом множество узлов оказывается дискретным представлением исходной функции.

Таким образом, сообщение, связанное с аналоговым сигналом Z (t) может быть преобразовано в дискретное, то есть, представлено посредством некоторого алфавита.

При такой замене очевидно, что чем меньше n (больше D t), тем меньше число узлов, но и точность замены Z (t) значениями Z i будет меньшей.

Другими словами, при дискретизации может происходить потеря части информации, связанной с особенностями функции Z (t).

Увеличением количества точек n можно улучшить соответствие между получаемым массивом и исходной функцией, однако полностью избежать потерь информации все равно не удастся, поскольку n – величина конечная.

Ответом на эти сомнения служит так называемая теорема отсчетов, доказанная в 1933г. В.А. Котельниковым, значение которой для решения проблем передачи информации было осознано лишь в 1948г. после работ
К. Шеннона. Эта теорема гласит:

Непрерывный сигнал можно полностью отобразить и точно воссоздать по последовательности измерений или отсчетов величины этого сигнала через одинаковые интервалы времени, меньше или равные половине периода максимальной частоты, имеющейся в сигнале.

Следовательно, дискретизация не приведет к потере информации и по дискретным сигналам можно будет полностью восстановить исходный аналоговый сигнал, если развертка по времени выполнена в соответствии со следующим соотношением:

, где - max частота.

(Например, для точной передачи речевого сигнала с частотой до 4000Гц при дискретной записи должно производиться не менее 8000 отсчетов/сек; в ТВ сигнале =4МГц не менее 8·10⁶ отсчетов в секунду.)

Однако помимо временной развертки, дискретизация имеет и другие составляющие – квантование D Z. Какими соображениями определяется шаг D Z?

Любой получатель сообщения – человек или устройство – всегда имеют конечную предельную точность распознавания величины сигнала. Например, человеческий глаз в состоянии различать около 16 млн. цветовых оттенков, следовательно, при квантовании цвета нет смысла делать б о льшее число градаций.

При передаче речи достаточно оказывается гораздо меньшая точность – 1%, следовательно, амплитуда звуковых колебаний D Z =0,01 Z ^max, а алфавит для обозначения всех градаций громкости должен содержать 100 знаков.

Следовательно, шаг квантования определяется чувствительностью приемного устройства.

Указанные соображения по выбору шага развертки по времени и квантования по величине сигнала лежат в основе оцифровки звука и изображения.

Примерами устройств, в которых происходят такие преобразования, являются сканер, модем, устройства для цифровой записи звука и изображения, лазерный проигрыватель, графопостроитель.

Термины «цифровая запись», «цифровой сигнал» следует понимать как дискретное представление с применением двоичного цифрового алфавита.

Таким образом, преобразование сигналов NàD как обратное DàN, может осуществляться без потери содержащейся в них информации.

Преобразование типа D1àD2 состоит в переходе при представлении сигналов от одного алфавита к другому – такая операция носит название перекодировки и может осуществляться без потерь содержания информации. Пример: запись/считывание с компьютерных носителей информации; шифровка и дешифровка текста; вычисление на калькуляторе.

Таким образом, за исключением N1àN2 в остальных случаях возможно преобразование сообщение без потерь содержащейся в них информации. При этом на первый взгляд непрерывные и дискретные сообщения оказываются равноправными. На самом деле это не так. Сохранение информации в преобразованиях NàD и DàN обеспечивается именно благодаря участию в них дискретного представления.

Другими словами: преобразование сообщений без потерь информации возможно только в том случае, если хотя бы одно из них является дискретным.

В этом проявляется несимметричность видов сообщений и преимущество дискретной формы. К другим достоинствам следует отнести:

- высокую помехоустойчивость;

- простоту и, как следствие, надежность и относительную дешевизну устройств по обработке информации;

- точность обработки информации, которая определяется количеством обрабатываемых элементов и не зависит от точности их изготовления;

- универсальность устройств.

Последнее качество – универсальность – оказывается следствием того обстоятельства, что любые дискретные сообщения, составленные в различных алфавитах, посредством обратимого кодирования можно привести к единому алфавиту N↔D₁↔D_{универс}.

Это позволяет выделить некоторый алфавит в качестве базового и представить в нем любую дискретную информацию. Тогда устройство, работающее с информацией в базовом алфавите, оказывается универсальным для переработки любой иной исходной дискретной информации.

Таким базовым алфавитом является двоичный алфавит, а использующим его универсальным устройством – компьютер.

Несимметричность непрерывной и дискретной информации имеет более глубокую основу, чем просто особенности представления сигналов.

Дело в том, что информация, порождаемая и существующая в природе, связана с материальным миром – размеры, форма, цвет, другие физические и химические характеристики и свойства объектов. Данная информация передается посредством физических и иных взаимодействий и процессов. Бессмысленно ставить вопросы: для чего существует и кому полезна эта информация?

Эту природную информацию можно считать хаотичной и неупорядоченной, поскольку никем и ничем не регулируется ее появление, существование, использование. Чаще всего, такая информация непрерывна по форме представления.

Напротив, дискретная информация – эта информация, прошедшая обработку – отбор, упорядочивание, преобразование; она предназначена для дальнейшего применения человеком или техническим устройством. Другими словами, дискретная информация – это уже частично осмысленная информация, то есть имеющая для кого-то смысл и значение, и, как следствие, более высокий статус, нежели непрерывная, хаотичная.

Однако в информатике этот смысл не отслеживается, хотя и подразумевается. То есть эту мысль можно выразить иначе: информатика имеет дело не с любой информацией и не с информацией вообще, а лишь с той, которая кому-нибудь необходима; при этом не ставятся и не обсуждаются вопросы «Зачем она нужна?» и «Почему именно эта?» – это определяет потребитель информации.

Отсюда становится понятной приоритетность дискретной формы по отношению к непрерывной в решении глобальной задачи автоматизации обработки информации.

В дальнейшем будем исследовать только дискретную информацию, а для ее представления использовать некоторый алфавит. При этом нет необходимости рассматривать физические особенности передачи и представления. Полученные результаты будут справедливы для любой дискретной информации независимо от реализации сообщения, с которым она связана. С этого момента и начинается наука информатика.

Контрольные вопросы.

1. Приведите примеры процессов, используемых для передачи информации, и связанных с ними сигналов, кроме указанных в тексте.

2. В чем состоит различие понятий «приемник сообщения» и «приемник информации»?

3. В чем состоит смысл и значение теоремы отсчетов?

4. Приведите пример преобразования типа D1®D2, при котором информация, содержащаяся в исходном сообщении, может не сохраняться.

5. Почему для представления дискретных сообщений в качестве базового выбирается двоичный алфавит?

3. Понятие информации в теории Шеннона

3.1 Понятие энтропии

Материал этой главы опирается на понятия и соотношения теории вероятностей. Этот раздел математики определяет понятийный и математический аппарат для описания случайных событий.

Случайными называются события, исход которых не может быть однозначно определен до того, как они произошли.

Другими словами, то, что событие случайно, означает отсутствие полной уверенности в его наступлении, что, в свою очередь, создает неопределенность в исходах опытов, связанных с данным событием.

Безусловно, степень неопределенности различна для разных ситуаций.

Например, если опыт состоит в определении возраста случайно выбранного студента 1-го курса дневного отделения вуза, то с большой долей уверенности можно утверждать, что он окажется менее 30 лет (хотя по положению в ВУЗе можно учиться до 35 лет).

Гораздо меньшую определенность имеет аналогичный опыт, если проверяется, будет ли возраст такого студента меньше 18 лет.

Для практики важно иметь возможность провести численную оценку неопределенности разных опытов. Попробуем ввести такую количественную меру неопределенности.

Начнем с простой ситуации – когда опыт имеет n равновероятных исходов. Очевидно, что неопределенность каждого из них зависит от n, то есть мера неопределенности является функцией числа исходов f (n).

Можно указать некоторые свойства этой функции (*):

f (1)=0, поскольку при n =1 исход опыта не является случайным, и, следовательно, неопределенность отсутствует;

f (n) возрастает с ростом n, поскольку, чем больше число возможных исходов, тем более затруднительным становится предсказание результатов опыта.

Для определения явного вида функции f (n) рассматриваются 2 независимых опыта a и b с количествами равновероятных исходов соответственно n _a и n _b. Пусть имеет место сложный опыт, который состоит из одновременного выполнения опытов a и b. Число возможных его исходов равно
n _a × n _b, причем все они равновероятны. Очевидно, неопределенность исхода такого сложного опыта a Ù b будет больше неопределенности опыта a, поскольку к ней добавляется неопределенность b. Мера неопределенности сложного опыта f (n _a × n _b).

С другой стороны меры неопределенности отдельных опытов a и b составляет соответственно f (n _a) и f (n _b). В первом случае проявляется общая (суммарная) неопределенность совместных событий, во втором – неопределенность каждого из событий в отдельности.

Однако из независимости a и b следует, что в сложном опыте они никак не могут повлиять друг на друга, то есть a не может оказать воздействия на b и наоборот.

Следовательно, мера суммарной неопределенности должна быть равна сумме мер неопределенности каждого из опытов, то есть мера неопределенности аддитивна:

f (n _a × n _b)= f (n _a)+ f (n _b). (3.1)

Каким же может быть явный вид функции f (n), чтобы он удовлетворял условиям (*) и соотношению (3.1)?

Такому набору свойств удовлетворяет функция log(n), причем можно доказать, что она – единственная из всех существующих классов функций. Таким образом, за меру неопределенности опыта с n равновероятными исходами можно принять число log(n).

Выбор основания логарифма значения не имеет, поскольку возможно преобразование логарифма от одного основания к другому:

log _a M= . (3.2)

Переход к другому основанию состоит во введении одинаковых для обеих частей выражения (2.2) постоянного множителя log_b a, что равносильно изменению масштаба (то есть размера единицы) измерения неопределенности.

Поскольку это так, то имеется возможность выбрать «удобное» основание логарифма. Таким удобным основанием оказывается 2. В этом случае за единицу измерения принимается неопределенность, содержащаяся в опыте, имеющем лишь 2 равновероятных исхода, которые можно обозначить, например, Истина/Ложь, и использовать для анализа таких событий аппарат математической логики.

Единица измерения неопределенности при двух возможных равновероятных исходах опыта называется бит.

Таким образом, установлен явный вид функции, описывающей меру неопределенности опыта, имеющего n равновероятных исходов: f (n)=log₂ n.

Эта величина получила название энтропия. Обозначается Н.

Вновь рассмотрим опыт с n равновероятными исходами. Поскольку каждый исход случаен, он вносит свой вклад в неопределенность всего опыта, но так как все n исходов равнозначны, разумно допустить, что и их неопределенности одинаковы.

Из свойства аддитивности неопределенности, а также того, что общая неопределенность равна log₂ n, следует, что неопределенность, вносимая одним исходом, составляет log₂ n, или

log₂ n = – log₂= – p log₂ p, (3.3)

где p = – вероятность любого из отдельных исходов

Таким образом, неопределенность, вносимая каждым из равновероятных исходов Н= – p log₂ p.

Попробуем обобщить формулу на ситуацию, когда исходы опытов неравновероятны, например, р (A₁) и р (A₂).

Тогда H₁= - р (A₁) × log₂ р (A₁), H₂= - р (A₂) × log₂ р (A₂), и

H=H₁+H₂ = - р (A₁) × log₂ р (A₁) - р (A₂) × log₂ р (A₂).

Обобщая эту ситуацию, когда опыт a имеет m неравновероятных исходов A₁,A₂ … A_m, получим

H(a)= ). (3.4)

Пример 1. Дано 2 ящика. В одном (a) 5 белых и 5 черных шаров. В другом (b) 8 белых и 2 черных шара. Опыты состоят в вытаскивании по одному шару из каждого ящика. Что можно сказать о неопределенности исходов этих опытов?

бит.

бит.

< , следовательно, предсказать его можно с меньшей долей уверенности.

Пример 2. Дано 2 ящика, в каждом по 12 шаров. В первом (a) 3 белых, 3 черных и 6 красных; во втором (b) – каждого цвета по 4. Опыты состоят в вытаскивании 1 шара из ящика. Определить энтропию опытов.

бит.

бит.

Следовательно, > .

Из этих примеров следует (и это математически доказано), что

при прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами.

Энтропия максимальна в опытах, где все исходы равновероятны.

Здесь усматривается аналогия (имеющая глубинную первооснову) с понятием энтропии, которое используется в физике.

Впервые это понятие было введено в 1865г. немецким физиком
Рудольфом Клаузиусом как функции состояния термодинамической системы, определяющей направленность самопроизвольных процессов в системе. Позднее (1872г.) Людвиг Больцман, развивая статистическую теорию, связал энтропию системы с вероятностью ее состояния.

Другими словами, в физике энтропия оказывается мерой беспорядка в системе. С ростом энтропии уменьшается порядок в системе. Энтропия максимальна для полностью разупорядоченной системы (хаос) – при этом любое событие равновероятно может произойти.

3.2 Условная энтропия

Найдем энтропию сложного опыта aÙb в том случае, если опыты не являются независимыми, то есть если на исход b оказывает влияние результат опыта a.

Например, если в ящике всего 2 разноцветных шара и a состоит в извлечении первого, а b – второго из них, то a полностью снимает неопределенность сложного опыта aÙb, то есть H(aÙb)=H(a), а не сумме энтропии.

Связь между a и b состоит в том, что какие-то из исходов А^(a) могут оказывать влияние на исходы из B^(b), то есть некоторые пары событий A _i ÙB _j не является независимыми, тогда следует р (A _i ÙB _j)= р (A _i)× р _{A i} (B _j), где р _{A i} (B _j) – вероятность наступления исхода B _j при условии того, что в первом опыте имел место исход A _i – условная вероятность. Энтропия такого опыта

log₂ р (A _i ÙB _j)=log₂ р (A _i) + log₂ р _Ai(B_j). (3.5)

Окончательно для энтропии сложного опыта:

H(aÙb) = H(a)+ H _a (b), где H _a (b) – средняя условная энтропия опыта b при условии выполнения опыта a.

Относительно условной энтропии верны следующие утверждения:

1. Условная энтропия является величиной неотрицательной.

H _a (b)=0, только в том случае, если любой исход a полностью определяет исход b (пример с двумя шарами), то есть H_A1(b)= H_A2(b) = H_A3(b)= … = = H_An(b) = 0. Тогда H(aÙb) = H(a).

2. Если опыты a и b независимы, то H_a(b) = H(b), причем это оказывается наибольшим значением условной энтропии. Другими словами, опыт a не может повысить неопределенность опыта b – он может либо не оказать никакого влияния (если опыты независимы), либо понизить энтропию b.

Утверждения 1 и 2 можно объединить неравенством 0 £ H _a (b) £ H(b).

3. Из соотношений 1 и 2 следует, что H(aÙb) £ H(a) + H(b), причем равенство реализуется только в том случае, если опыты a и b – независимы.

Пример 3. В ящике имеются 2 белых шара и 4 черных. Из ящика извлекают последовательно 2 шара без возврата. Найти энтропию, связанную с
1-ым извлечением, 2-м извлечением, а также энтропию обоих извлечений.

Будем считать опытом a извлечение 1-го шара.

Он имеет 2 исхода: A₁ – вынут белый шар р (A₁)= 2/6 = 1/3,

A₂ – вынут черный шар р (A₂) = 4/6 = 2/3.

H_a= - р (A₁)log₂ р (A₁) - р (A₂)log₂ р (A₂) = бит.

Опыт b также имеет 2 исхода: B1 – вынут белый шар;

B2 – вынут черный шар.

Однако их вероятности будут зависеть от того, каким был исход опыта a. В частности,

при A₁ р _A1(B₁) = 1/5 р _A1(B₂) = 4/5,

при A₂ р _A2(B₁) = 2/5 р _A2(B₂) = 3/5.

Следовательно, энтропия второго опыта является условной:

H_A1(b) = .

H_A2(b) = .

H_b = 0,722 + 0,971 = 1,693.

H_a(b) = р (A₁)× H_A1(b) + р (A₂)× H_A2(b)= бит.

H(aÙb) = H(a)+ H _a (b) = 0,918 + 0,888 = 1,806 бит.

3.3 Статистическое определение информации

Поучительность только что рассмотренного примера в том, что у него отчетливо видно, как предшествующий опыт (a) может уменьшить количество исходов, и, следовательно, неопределенность последующего опыта (b).

Разность H(b) и H _a (b), очевидно, показывает, какие новые сведения относительно b получаем, проведя опыт a.

Эта величина называется информацией (I) относительно опыта b, содержащейся в опыте a

I (a,b) = H _a (b).

Данное выражение открывает возможность численного измерения количества информации, поскольку оценивать энтропию уже умеем. Из него легко получить ряд следствий:

Следствие 1. Поскольку единицей измерения энтропии является бит, то в этих же единицах может быть измерено количество информации.

Следствие 2. Пусть опыт a = b, то есть просто произведен опыт b. Поскольку он несет полную информацию о себе самом, неопределенность исхода полностью снимается, то есть

H_b(b) = 0. Тогда I (b,b) = H (b), следовательно,

энтропия равна информации относительно опыта, которая содержится в нем самом, или

энтропия опыта равна той информации, которую получаем в результате его осуществления.

Отметим ряд свойств информации:

1. I (a,b) ³ 0, причем I (a,b) = 0 тогда и только тогда, когда опыты a и b независимы.

2. I (a,b) = I (b,a), то есть информация симметрична относительно последовательности опыта.

3. Формула определения количественного значения информации

I = - . (3.6)

То есть информация опыта равна среднему значению количества информации, содержащейся в каком-либо одном его исходе.

Пример 4. Какое количество информации требуется, чтобы узнать исход броска монеты?

n =2, события равновероятны р ₁= р ₂= и

I = .

Пример 5. «Угадайка-4». Некто задумал число в интервале от 0 до 3. Опыт состоит в угадывании этого числа. На наши вопросы Некто может отвечать лишь Да/Нет. Какое количество информации должны получить, чтобы узнать задуманное число? Как правильно построить процесс угадывания?

Возможные исходы: А₁ – задуман 0, А₂ – задумана 1, А₃ – задумана 2, А₄ - задумана 3.

Так как все исходы равновероятны, то р (А₁) = р (А₂) = р (А₃) = р (А₄) =,

I = ( бит информации.

Какие вопросы надо задать, чтобы процесс угадывания был оптимальным, то есть содержал минимальное их число?

Дерево вопросов для угадывания приведено на рисунке 3.1. Вопросы, задаваемые отгадывающим игроком – бинарные (т.е. имеют 2 возможных равновероятных ответа).

Следовательно, для решения задачи оказалось достаточно 2-х вопросов независимо от того, какое число было задумано. Совпадение между количеством информации и числом вопросов с бинарными ответами неслучайно.

Количество информации численно равно числу вопросов с равновероятными бинарными вариантами ответов, которые необходимо задать, чтобы полностью снять неопределенность задачи.

Если все n исходов равновероятны, то формула (3.6) приобретает вид

, то есть

I = log₂ n. (3.7)

Эта формула была выведена в 1928 году американским инженером
З. Хартли и носит его имя. Она связывает количество равновероятных состояний (n) и количество информации в сообщении (I), что любое из этих состояний реализовалось.

Частным случаем для n = 2 ^k является I = k бит (примеры с монетой и «Угадайка-4»).

3.4 Энтропия и информация

Обобщим и осмыслим еще раз вышеприведенные результаты.

1. Выражение (3.6) является статистическим определением понятия «информация», поскольку в него входят вероятности возможных исходов опыта.

Выражение I(a,b)=H_a(b) можно интерпретировать следующим образом: если начальная энтропия опыта Н₁, а в результате сообщения информации I энтропия становится равной Н₂, (Н₁³Н₂), то

I = Н₁ – Н₂, – то есть информация равна убыли энтропии.

В частном случае, если изначально равновероятных исходов было n ₁, в результате передачи информации I неопределенность уменьшилась и число исходов стало n ₂ (n ₂ £ n ₁), то I = log ₂n₁ – log ₂n₂ = log ₂ .

Таким образом, можно дать следующее определение:

Информация – это содержание сообщения, понижающего неопределенность некоторого опыта с неоднозначным исходом. Убыль связанной с ним энтропии является количественной мерой информации.

В случае равновероятных исходов информация равна логарифму отношения числа возможных исходов до и после получения сообщения.

2. Следствием аддитивности энтропии независимых опытов оказывается аддитивность информации. Пусть с выбором одного из элементов х_А множества А, содержащего n_А элементов, связано I_A = log₂n_A информации, а с выбором х_В из множества В с n _В элементами информации связано I_B=log₂ n _B. Если второй выбор никак не связан с первым, то при объединении множеств число возможных состояний элементов составляет n = n _A× n _B и для выбора комбинации х_Ах_В потребуется количество информации

I = log₂(n _A× n _B) = log₂ n _a + log₂ n _B = I_A + I_B.

3. Вернемся к утверждению о том, что количество информации может быть измерено числом вопросов с двумя равновероятными ответами. Означает ли это, что I должно быть всегда целой величиной?

Из формулы Хартли I = k бит только в случае n = 2^k. А в остальных ситуациях? Например, с карточной колодой из 36 карт I = log₂36 Число вопросов в ряде случаев должно быть 5, а в ряде случаев – 6. Усреднение по случаям как раз и дает нецелую величину. Таким образом,

величина I, определяемая описанным выше способом, показывает, сколько в среднем необходимо сделать парных выборов для установления результата (полного снятия неопределенности), если опыт повторить многократно.

4. Необходимо понимать также, что не всегда с каждым из ответов на вопрос, имеющим только 2 варианта ответа (бинарный вопрос), связан ровно 1 бит информации.

Рассмотрим опыт, реализующийся посредством двух случайных событий; Так как их всего два, то они являются дополнительными друг к другу.

Если эти события равновероятны, то р ₁ = р ₂ = 0,5 и I = 1 бит.

Однако если их вероятности различны р ₁ = р, то р ₂ = 1 – р и

I(p)= - р log₂ р - (1 - р) log₂(1 – р).

При р ® 0 и при р ® 1, функция I(p) ®0. График этой функции приведен на рис.3.2. Кривая симметрична относительно р =1/2 и достигает максимума при этом значении.

Ответ на бинарный вопрос может содержать не более 1 бит информации. Информация равна 1 бит только для равновероятных ответов; в остальных случаях она меньше 1 бит.

Пример 7. При угадывании результата броска игральной кости задается вопрос «Выпало 6?» Какое количество информации содержит ответ?

бит < 1 бит.

«Выпало больше 2»? .

I = 0.387+0.527=0.914.

5. Формула (3.6) приводит еще к одному выводу. Пусть некоторый опыт имеет два исхода А и В, причем р _А = 0.99, а р _В = 0.01.

В случае исхода А получим количество информации I_А = - log₂0.99 = 0.0145 бит, а в случае исхода В I_B = - log₂0.01 = 6.644 бит. Следовательно,

больше информации связано с теми исходами, которые менее вероятны.

Действительно, то, что наступит А, почти наверняка знали и до опыта; поэтому реализация такого исхода мало добавляет к нашей осведомленности.

Наоборот, исход В – очень редкий; информации связано с ним больше, осуществилось трудно ожидаемое событие.

Однако такое большое количество информации будем при повторах получать редко, поскольку мала вероятность В. Среднее количество информации

I = 0,99 I_A + 0,01 I_B = 0,081 бит.

6. В данном разделе рассмотрен вероятностный подход к определению количества информации. Он не является единственным. Как будет показано далее, количество информации можно связать с числом знаков в дискретном сообщении – такой способ измерения называется объемным. Можно доказать, что при любом варианте кодирования I _вер. £ I _об.

7. Объективность информации. При использовании людьми одна и та же информация может иметь различную оценку с точки зрения важности (значимости). Определяющим в такой оценке оказывается смысл (содержание) сообщения для конкретного потребителя.

Однако при решении практических задач технического характера содержание сообщения может не играть роли. Например, задача любой линии связи – точная и безошибочная передача сообщения. Техническое устройство не может оценить важность информации.

Вышеприведенное определение информации в статистическом смысле не зависит от того, кто и каким образом осуществляет выбор, а связанная с ним количественная мера одинакова для любого потребителя. Следовательно, появляется возможность описывать информационные процессы математическими уравнениями.

8. Информация и знание. На бытовом уровне, в науках социальной направленности, «информация» отождествляется с «информированностью», то есть человеческим знанием. В теории информации, напротив, информация является мерой нашего незнания чего-либо (но что в принципе может произойти). Состоявшееся событие не несет информации, поскольку пропадает его неопределенность.

Недопонимание указанных различий порождает попытки применения законов теории информации в тех сферах, где условия ее применимости не выполнены. Любая теория справедлива лишь в рамках своих исходных ограничений.

3.5 Информация и алфавит

Рассматривая формы представления информации, отметили то обстоятельство, что естественным для органов чувств человека является аналоговая форма. Но универсальным все же следует считать дискретную форму представления информации с помощью некоторого набора знаков.

Сообщение – последовательность знаков некоторого алфавита. Появление конкретного знака в конкретном месте сообщения – явление случайное. Следовательно, узнавание знака требует получения некоторой информации. Можно связать эту информацию с самим знаком и считать, что знак несет в себе некоторое количество информации.

Попробуем оценить это количество.

Самое грубое (нулевое) приближение – предположим, что появление всех знаков алфавита – равновероятно.

Тогда для английского алфавита (26 букв + пробел):

I₀ ^еn= log₂27 = 4.755 бит, для русского – I₀ ^ru= log₂34 = 5.087.

Получается, что со знаком русского алфавита в среднем связано больше информации, чем со знаком английского. (В русской букве «а» информации больше, чем в английской). Это, конечно, не означает, что английский язык беднее русского (лингвистическое богатство языка определяется количеством слов и их сочетаний, и никак не связано с числом букв в алфавите).

С точки зрения техники это означает, что сообщения из равного количества символов будут иметь различную длину (и время передачи) и б о льшими они окажутся у сообщения на русском языке.

Уточним нулевую оценку.

Относительная частота, то есть вероятность появления различных букв в тексте (сообщении) – различна. Средние частоты букв для русского алфавита (не различаются е/ё и ь/ъ знаки – то есть 32 символа) приведены в табл.3.1. (Яглом А.М., Яглом И.М. Вероятность и информация)

Таблица 3.1

Буква	Пробел	о	е, ё	а	и	т	н	с	р	в	л
Относительная частота	0,175	0,090	0,072	0,062	0,062	0,053	0,053	0,045	0,040	0,038	0,035
Буква	к	м	д	п	у	л	ы	з	ь, ъ	б	г
Относительная частота	0,028	0,026	0,025	0,023	0,021	0,018	0,016	0,016	0,014	0,014	0,013
Буква	ч	й	х	ж	ю	ш	ц	щ	э	ф
Относительная частота	0,012	0,010	0,009	0,007	0,006	0,006	0,004	0,003	0,003	0,002

Если р _i – вероятность знака с номером i данного алфавита из N знаков, то среднее количество информации, приходящееся на один знак, равно:

. (3.8)

Это и есть знаменитая формула К. Шеннона, с работы которого: «Математическая теория связи» (1948 г.) принято начинать отсчет возраста информатики как самостоятельной науки.

В нашей стране практически одновременно с Шенноном велись подобные исследования, например, в 1948 г. вышла работа А.И. Колмогорова «Математическая теория передачи информации».

Сообщения, в которых вероятность появления каждого отдельного знака не меняется со временем, называется шенноновским, а порождающий их отправитель – шенноновский источник.

Если сообщение является шенноновским, то набор знаков и связанная с каждым знаком информация известны заранее. В этом случае интерпретация сообщения сводится к задаче распознавания знака. А такая задача может быть решена серией парных выборов. При этом количество информации, содержащееся в знаке, служит мерой затрат по его выявлению.

Для русского языка значение средней информации на знак бит, английского бит, французского бит, немецкого бит, испанского .

Несовпадение средних значений информации для английского, французского и немецкого языков, основанных на одном алфавите, связано с тем, что частоты появления одинаковых букв в них различны.

Следующее приближение при оценке значения информации на знак учитывает корреляции (то есть связи между буквами) в словах. В словах буквы появляются не в любых сочетаниях; это понижает неопределенность угадывания следующей буквы. Например, в русском языке нет слов, в которых встречаются сочетания «фш», «шц» или «фъ». И, напротив, после некоторых сочетаний можно с большей определенностью судить о появлении следующей буквы. Например, после сочетания пр - всегда следует гласная буква, а их всего 10 и, следовательно, вероятность угадывания следующей буквы 1/10, а не 1/33.

Учет двухбуквенных сочетаний дает оценку для английского языка , а трехбуквенных .

Шеннон дал приближенные оценки для пяти- бит, и восьми- бит буквенных сочетаний английского языка.

Аналогичные исследования для русского языка дают

бит, бит.

Последовательность I₀, I₁, …, I_n – является убывающей в любом языке.

Можно оценить предельную информацию на знак в данном языке I_¥ , которая будет отражать минимальную неопределенность, связанную с выбором знака алфавита без учета семантических особенностей языка. В то же время I₀ является другим предельным случаем, поскольку характеризует наибольшую информацию, которая может содержаться в знаке данного алфавита.

Шеннон ввел величину, которую назвал относительной избыточностью языков R= 1 .

Избыточность является мерой бесполезно совершаемых альтернативных выборов при чтении текста. Эта величина показывает, какую долю лишней информации содержат тексты данного языка; лишней в том отношении, что она определяется структурой самого языка и, следовательно, может быть восстановлена без явного указания в буквенном виде.

Исследования Шеннона для английского языка дали значение

I_¥=1.4 ¸1.5 бит, что дает R=0,68.

Подобные оценки показывают, что и для других европейских языков, в том числе русского, избыточность составляет 60-70%. Это означает, что в принципе возможно почти трехкратное (!!) сокращение текстов без ущерба для их содержательной стороны и выразительности.

Например, текст «Таким образом, минимальное содержание уровня кислоты определяется температурой окружающей среды» может быть без ущерба для понимания сокращен до текста «Т.о. мин. сод-е ур-ня кислоты опр-ся темп-рой окруж. среды»

Такое «экономичное» представление слов снижает разборчивость языка, уменьшает возможность понимания речи при наличии шума (помех), а также исключает возможность локализации и исправления ошибки при ее возникновении.

Именно избыточность языка позволяет легко восстановить текст, даже если он содержит большое число ошибок или неполон (кроссворды, поле чудес). Избыточность – определенная страховка и гарантия разборчивости.

Контрольные вопросы.

1. Мы отгадываем задуманное кем-то двузначное число.

а) Какое количество информации требуется для отгадывания всего числа?

б) Какова оптимальная последовательность вопросов?

в) Изменится ли требуемое количество информации, если будем отгадывать не всё число сразу, а по очереди – сначала первую цифру, потом вторую?

г) Одинакова ли информация, необходимая для отгадывания первой и второй цифр?

2. Источник порождает множество шестизначных сообщений, каждое из которых содержит 1 знак *, 2 знака % и 3 знака!. Какое количество информации содержится в каждом сообщении?

3. С какой буквой русского алфавита «а» или «б» связано больше информации? Найдите ее.

4. Средняя длина слова в русском языке 5.3 буквы, в английск