Вопрос. Вероятностный подход к измерению информации

Вопрос.

Вероятностный подход к измерению информации. Все события происходят с различной вероятностью, но зависимость между вероятностью событий и количеством информации, полученной при совершении того или иного события можно выразить формулой которую в 1948 году предложил Шеннон.

Источник сообщений – объект, передающий сообщение по каналу связи.

Сообщение может быть случайным, то есть набор символов распределяется случайным образом. Символы появляются с разными вероятностями.

Источник дискретных сообщений – источник сообщений, который может в любой момент времени принимать одно из конечных возможных состояний.

Вопрос

Алфавитный подход - объективный подход к измерению информации. Кол-во информации зависит от объема текста и мощности алфавита.

Мощность алфавита – полное количество символов алфавита.

При алфавитном подходе к измерению информации количество информации зависит не от содержания, а от мощности, объёма текста.

Применение алфавитного подхода удобно при использовании технических средств работы и информации.

Вопрос.

Получение новой информации расширяет знания человека. Если какое-либо сообщение уменьшит неопределённость знаний, то можно говорить, что оно содержит информацию.

Информация одного и того же сообщения может быть разной для разных людей.

Чтобы сообщение было информировано, оно в 1-ую очередь должна быть понятна для человека, логически связанная с предыдущими знаниями.

Сообщение несёт информацию, если содержащиеся сведения являются новыми и понятными.

Такой подход является субъективным из за различия предыдущих знаний разных людей.

Вопроc

Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Информационная энтропия — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Впервые понятия энтропия и информация связал К.Шеннон в 1948 [299]. С его подачи энтропия стала использоваться как мера полезной информации в процессах передачи сигналов по проводам. Следует подчеркнуть, что под информацией Шеннон понимал сигналы нужные, полезные для получателя. Неполезные сигналы, с точки зрения Шеннона, это шум, помехи. К.Шеннон стоял на позиции функционалиста. Если сигнал на выходе канала связи является точной копией сигнала на входе то, с точки зрения теории информации, это означает отсутствие энтропии.

Вопрос

Алфавит – набор символов, предназначенный для отображения информации.

Алфавит может содержать разное количество символов. Даже один.

Вторичный алфавит имеет 2 знака, это любые символы, но в вычислительной технике знаки – 1 и 0, которые обозначают истину или ложь.

Код – правило, в соответствии с которым символ одного алфавита сопоставляется символу другого алфавита.

Азбука Морзе предполагает, что мы каждому символу другого языка сопоставляем уникальную комбинацию.

Кодирование, операция отождествления символов или групп символов одного кода с символами или группами символов другого кода. Необходимость кодирования возникает прежде всего из потребности приспособить форму сообщения к данному каналу связи или какому-либо другому устройству, предназначенному для преобразования или хранению информации. Так, сообщения, представленные в виде последовательности букв, например русского языка, и цифр, с помощью телеграфных кодов преобразуются в определённые комбинации посылок тока. При вводе в вычислительные устройства обычно пользуются преобразованием числовых данных из десятичной системы счисления в двоичную и т.д..

К. в информации теории применяют для достижения следующих целей: во-первых, для уменьшения так называемой избыточности сообщений и, во-вторых, для уменьшения влияния помех, искажающих сообщения при передаче по каналам связи. Поэтому выбор нового кода стремятся наиболее удачным образом согласовать со статистической структурой рассматриваемого источника сообщений. В какой-то степени это согласование имеется уже в коде телеграфном, в котором чаще встречающиеся буквы обозначаются более короткими комбинациями точек и тире.

В вычислительной технике широко применяется двоичный код. Возникла таблица кодировок, в которой используются двойные и шестнадцатеричные записи кода, но наихудшая обработка данных в двойном коде – байт, в котором содержатся биты.

Наибольший символ может быть любым и его выбирают обусловлено, целесообразно для применения в какой либо области технических устройств.

8 бит – это кодировка для представления десятичных цифр.

Во многих кодировках используется 7 бит, а потом появились более улучшенные.

Вопро.

Система счисления – способ записи чисел; представление чисел, с помощью знаков.

Позиционная система счисления – система, в которой значение каждого числа знака зависит от его позиции.

В двоичной системе b = 2, где b – это разряд. В этой системе находятся всего лишь две цифры – 0 и 1.

Двоичные цифры – бит (binary digits).

Шестнадцатеричная система счисления широко используется в низкоуровневом программировании, в документации.

В 16 системе счисления от 0 до 5 можно записать с помощью 4 бит.