Комбинаторное определение количества информации

Среди структурных мер наиболее распространенной является мера Хартли, впервые выдвинутая им в 1928 г., в виде комбинаторного определения количества информации. Это определение предполагает модель с детерминированной связью (помехи отсутствуют) между дискретными состояниями двух систем без их вероятностного описания.

До получения сведений о состоянии системы имеется ап­риорная неопределенность ее состояния. Сведения позволяют снять эту неопределенность, то есть определить состояние системы. Поэтому количество информации можно определить как меру снятой неопределенности, которая растет с ростом числа состояний системы.

Количественная мера информации устанавливается сле­дующими аксиомами.

Аксиома 1. Количество информации, необходимое для снятия неопределенности состояния системы, представляет собой монотонно возрастающую функцию числа состояний системы.

В качестве количественной меры информации можно вы­брать непосредственно число состояний системы N_x, которое является единственной характеристикой множества X.

Однако такое определение не удобно с точки зрения его практического применения. Поэтому в теории информации вводится несколько иная количественная мера информации, которая является функцией N_х. Вид указанной функции по­зволяет установить аксиома 2.

Аксиома 2. Неопределенность состояния сложной системы, состоящей из двух подсистем, равна сумме неопределен­ностей подсистем.

К количественной мере информации естественно выдвинуть следующие требования:

1. Количество информации в сообщении о достоверном событии равно нулю.

2. Количество информации, содержащееся в двух независимых сообщениях, должно равняться сумме количества информации в каждом из них, то есть мера информации должна быть аддитивной величиной.

3. Количество информации не должно зависеть от качественного содержания сообщения. То есть от степени важности или полезности для получателя.

В соответствии с требованием 2, если для снятия неопределенности первой подсистемы необходимо количество информации, равное , а для второй подсистемы количество информации, равное , то для снятия неопределенности сложной системы необходи­мо количество информации, равное

, (7.1)

где — число состояний первой подсистемы; — число состояний второй подсистемы; — число состояний слож­ной системы.

Единственным решением полученного функционального уравнения является логарифмическая функция

,

которая определяет количество информации как логарифм числа состояний системы. Основание логарифма опреде­ляет единицу измерения количества информации. В зависи­мости от значения единицы измерения называются двоич­ными ( =2), троичными ( =3) и в общем случае -ичными. В дальнейшем под символом будем понимать двоичный логарифм.

Каждое передаваемое слово из букв, записанное в ал­фавите, содержащем N букв, можно рассматривать как отдельное «укрупненное» состояние источника сообщений. Всего таких состояний (слов) будет

. (7.2)

Это информационная емкость, или количество информации в сообщении, характеризующая его потенциальное структурное разнообразие.

Структурная мера (мера Хартли) количества информации определяется

. (8.3)

Выбор основания логарифма несущественен, так как переход от одной системы логарифмов к другой сводится лишь к умножению логарифма с данным основанием на соответствующий множитель. Он равен 1,443 при переходе от натуральных логарифмов к двоичным и 3,32 при переходе от десятичных логарифмов к двоичным. При использовании десятичных логарифмов количество информации определяется в десятичных единицах - дитах. Дитами удобно пользоваться при анализе процессов в приборах, работающих в десятичной системе счисления. При использовании натуральных логарифмов единицей измерения является натуральная единица – нит. В случае использования двоичных логарифмов количество информации измеряется в двоичных единицах - битах.

При = 2 за единицу информации принято количество информации, которое содержится в сообщении из одного элемента ( = 1), принимающего одно из двух равновероятных значений (N= 2), т.е. . Эта единица измерения называется «БИТ» (сокращенно от английского термина «binary unit» - двоичная единица).

Итак, количество информации в рассматриваемом случае равно логарифму длиной :

, [бит].

Известно, что всякая информация получается потребителем после принятия сообщения, т.е. в результате опыта. Сообщение, получаемое на приемной стороне, несет полезную информацию лишь в том случае, если имеется неопределенность относительно состояния источника сообщений. Количественной мерой неопределенности ситуации является энтропия. Термин и понятие энтропии по-разному вводится и используется в физике (термодинамике) и кибернетике (теории информации).

В теории информации энтропия рассматривается как мера неопределённости случайной величины. За количественную меру оценки неопределённости (Н) принимают среднее значение неопределённости появления каждого из возможных сообщений (состояний, событий). Математически отображается в следующем виде:

, бит/символ. (7.4)

При N= 1, Н= 0, т.е. количество информации в сообщении, элементы которого могут принимать лишь одно значение, равно нулю.

Необходимо отметить, что структурная мера (мера Хартли) количества информации не связана со смыслом передаваемого сообщения (семантикой) и тем влиянием, которое оно может оказать на получателя сообщения.

Пусть, например, информационная емкость некоторой системы равна тысяче: Q= 10³, I= log₂10³ = 3log₂10 » 10 [бит], это значит, что в двоичной системе данное число можно закодировать 10 разрядным числом, т.е. для его описания достаточно 10 бит.