Информационных процессов

1. Совпадение формул для информационной и термодинамической энтропии, для определения количества информации в статистической теории информации и изменения энтропии в статистической термодинамике, равно как некоторых наиболее существенных характеристик информационных процессов и динамики сплошных сред не может быть случайным.

Протекание информационного, как и любого другого процесса в термодинамических системах возможно только при наличии исходной неравновесности в системе, где этот процесс протекает (неравномерность концентраций, давлений, разность энергетических потенциалов, и т.п.). Эту неравновесность можно охарактеризовать отклонением системы от равновесия, то есть от состояния максимальной устойчивости.

Рассматривая источник информации, канал связи и адресата как единую систему, мы можем утверждать, что информационный процесс в ней возможен только в том случае, когда источник будет обладать информацией неизвестной адресату. Если же источник и адресат обладают одинаковой в количественном и качественном смысле информацией, система находится в состоянии равновесия и информационный процесс в ней невозможен. В физике такое состояние есть состояние с максимальной энтропией.

2. Термодинамика доказала, что любые процессы в реальном мире всегда связаны с процессами энергетическими. То же можно сказать и об информационных процессах. Начиная с объяснения известного «парадокса демона» Максвелла теория и практика доказали, что ни какие информационные процессы также невозможны без затрат энергии. Причем, речь не идет об энергетических процессах, как вспомогательных, необходимых только для передачи сигнала. Речь идет о фундаментальных явлениях взаимосвязи энергии и информации.

Начиная с простейшего информационного взаимодействия - процесса измерения мы наглядно видим, что он однозначно связан со строго определенными затратами энергии, энергетическими процессами, в целом. И чем выше точность измерения, тем большее количество информации мы получаем, но и тем больше затраты энергии.

Суть здесь вот в чем. Всякое измерение есть сравнение измеряемой величины с некоторым эталоном. При измерении расстояний (особенно в микромире) единственный доступный нам эталон – излучение с известной длиной волны, или что то же - известной частоты. И чем больше требования к точности измерения, тем короче длина волны эталонного излучения а, значит, и тем больше энергия кванта излучения. Л.Бриллюэн показывает[42], например, что квант энергии, которым обладает волна, необходимая для измерения длины в 10^-150 см равен эрг. Но испускание или поглощение такого «кванта» энергии, необходимого при измерении (то есть взаимодействии между волной и измеряемой физической системой), могло бы разнести в пыль всю Землю.

То же относится и к любому другому классическому измерению. Таким образом, измерение всегда необратимо: при любом измерении диссипация энергии неизбежна. Попытки избежать ее, замедляя скорость процесса эффекта, не дают: при измерении с заданной точностью минимальная диссипация энергии соответствует не нулевой скорости протекания процесса, а некоторой конечной скорости, порядка тепловой.

То же можно сказать и о любом другом информационном процессе. Чтобы написать книгу или запечатлеть информацию в виде чертежа, грампластинки или фотографии всегда необходимо затратить определенную энергию. В живой природе запись, например, генетической информации также не обходится даром.

Немалых энергетических затрат требует чтение информации.

Доказано, например, что в начальной стадии развития живых организмов тепловой эффект, которым сопровождается чтение генетической информации столь велик, что его нельзя не заметить. К примеру, яйцо, которое высиживает курица, не поглощает теплоту, а выделяет ее. За 20 дней инкубации выделяется 380 калорий на грамм веса яйца. Роль курицы в этом процессе чисто термостатная: она задает (и поддерживает) температуру, необходимую для развития яйца (около 40⁰C). Выделяется теплота и при развитии земноводных из икринок, при размножении бактерий, при прорастании семян растений.

По-видимому, выделение большого количества тепловой энергии на начальных этапах развития живых организмов действительно можно объяснить тем, что на этих стадиях зародыш наиболее интенсивно развивается: из одной клетки образуется великое множество клеток, причем получающееся при образовании одной новой клетки количество распределенной информации на несколько порядков превосходит количество абсолютной информации, содержащихся в молекулах ДНК[43].

Конечно, энергия, заключенная в веществе яйца тратится не только на чтение генетической информации. Новый организм создается не только из информации. Здесь сливаются воедино вещественные, энергетические и информационные потоки. Но то, что «считывание» генетической информации требует существенных энергетических затрат – несомненно.

Таких примеров можно привести множество.

Отсюда следует не только возможность, но и необходимость термодинамического исследования информационных процессов.

3. Основная проблема термодинамики информационных процессов, по мнению Р.П.Поплавского, состоит в установлении связей, точнее - предельных соотношений между информационными характеристиками процесса (количеством информации, точностью измерений и т.п.) и его термодинамическими параметрами (потенциалами, энергией, энтропией и другими).

Более точно проблема формулируется так. Пусть происходит какой-либо информационный процесс, который характеризуется некоторым количественным результатом, например, точностью измерения или количеством переданной информации. Задача состоит в том, чтобы связать этот полезный результат с затраченными ресурсами»[44].

Если исследуемая нами система является системой управления, то кроме информационных характеристик полученный результат определяется еще и некоторым упорядочением в системе, то есть понижением ее энтропии. А это требует производства внешней работы над системой, то есть затрат энергии, подводимой от внешнего источника. Тогда непосредственно из второго начала термодинамики следует, что энтропия окружения данной системы должна возрасти таким образом, чтобы суммарная энтропия исследуемой системы и связанной с нею среды (включая и ту ее часть, которая содержит источник энергии) не изменилась. Причем, неизменной энтропия остается только в том случае, если система и связанная с нею часть окружения изолированы от остальной среды. В общем же случае энтропия всегда возрастает, поскольку ни одна реальная система не может быть полностью изолированной.

Вследствие этого, существенный интерес представляет нахождение предельных соотношений в системе, а именно: в какой мере рост энтропии окружения превышает полезный эффект, то есть установить нижнюю границу необратимости процесса управления.

Наконец, всегда существует необходимость четкого понимания того, какие из информационных процессов непосредственно связаны с понижением энтропии, а какие нет. И как в зависимости от этого меняется энергетическая цена информации.

Все эти вопросы имеют принципиальное значение для решения поставленных нами задач.

Рассмотрение указанных вопросов начнем с уточнения понятия энтропии.

В ходе исследования этих проблем Л.Бриллюэн[45] делает вывод, что поскольку энтропия термодинамической системы может рассматриваться как мера случайности в ее строении, то само понятие энтропии может быть сформулировано следующим образом: всякая физическая система не полностью определена. Отсюда следует, что энтропия есть мера недостатка информации, которая выражает общее количество отсутствующей информации об ультрамикроскопической структуре системы[46].

Эта точка зрения определяется как негэнтропийный принцип информации и ведет к обобщению второго начала термодинамики, поскольку энтропия и информация должны рассматриваться совместно и не могут трактоваться порознь. Любое наблюдение или эксперимент над физической системой автоматически ведет к увеличению энтропии лаборатории. После этого возможно сравнить потерю негэнтропии (увеличение энтропии) с количеством полученной информации. Эта эффективность, согласно обобщенному принципу Карно всегда меньше единицы.

Здесь представляется уместным привести достаточно интересную аналогию: «Являясь фактором экстенсивности тепла - самого малоэффективного вида энергии, энтропия представляет собой как бы всеобщий эквивалент, сопровождающий любой вид передачи зарядов. Если мы посылаем по почте посылку, то за пересылку с нас берут при одинаковом весе посылки, одну и ту же сумму, независимо от того, посылаем ли мы кирпичи(массу), уголь(энергию) или книги(информацию). Иначе говоря, любые процессы передачи зарядов сопровождаются возникновением энтропии, «обесценения» (плата за пересылку)» [47].

5. В литературе существует довольно много подходов к определению понятия «негэнтропия». Нередко ее отождествляют с информацией. Мы будем придерживаться точки зрения Л.Бриллюэна с определенными корректировками, которые были внесены Р.П.Поплавским.

Л.Бриллюэн определяет негэнтропию, рассматривая качество энергии (см. выше) и его изменение в процессе различных ее преобразований. При этом, он подчеркивает, что качество энергии может быть точно определено через отрицательную энтропию – . Именно эту величину – отрицательную энтропию он и рассматривает как негэнтропию

(3.91)

Эта величина представляет качество энергии и в отличие от термодинамической энтропии всегда убывает, поскольку термодинамическая энтропия, согласно второму началу термодинамики всегда возрастает или неизменна.

Любая изолированная система обладает негэнтропией только в том случае, когда она обладает способностью совершать некоторую работу, а это возможно при наличии неравновесности в системе (разности потенциалов, давлений, температур и проч.)

Уточняя понятие негэнтропии, Р.П.Поплавский указывает, что негэнтропия есть энтропия, взятая с обратным знаком, термин, используемый в связи с упорядочением, то есть определенная мера упорядоченности системы.

Информация же, как это указывалось ранее, есть снижаемая неопределенность, разность величин энтропии системы до и после получения сообщения.

Поэтому, как представляется, на основании того факта, что передача информации сопровождается возрастанием энтропии, а формулы Больцмана и Шеннона имеют одинаковый вид, нельзя делать вывод, согласно которому информация - это энтропия с обратным знаком, лишь выраженная в других единицах. Такое отождествление информации с негэнтропией ничего не добавляет к понятию энтропии и приводит к девальвации понятия информации.

6. С точки зрения Р.П.Поплавского негэнтропийный принцип Л.Брилюэна имеет две стороны:

Ø Лишь при наличии исходной негэнтропии в замкнутой системе может возникнуть в одной ее части информация о другой части системы.

Ø Эта информация может быть вновь преобразована в негэнтропию , проявляющуюся как некоторое упорядочение в одной из подсистем.

В этой связи мы можем уточнить высказанное ранее утверждение, что для протекания любого процесса, в том числе и информационного, требуется исходная неравновесность. Эту неравновесность можно охарактеризовать негэнтропией

(3.92)

то есть отклонением системы от состояния с максимальной энтропией

Однако, практически имеет значение и может быть рассчитана не начальная негэнтропия, а энергетическая цена информации, то есть значение энергии , которую необходимо рассеять для достижения заданного информационного эффекта. Например, для передачи заданного количества информации или измерения с заданной точностью, эквивалентной .

Обычно в качестве замкнутой термодинамической системы рассматриваются исследуемые системы, погруженные в термостат. В нашем случае термостат есть аналог квазизамкнутой системы или ее уровня.

Поэтому первую сторону негэнтропийного принципа информации целесообразно характеризовать увеличением энтропии окружающей среды - термостата, лаборатории и т.д.

(3.93)

Эта сторона определяет «расходы» на информацию. Вторая сторона характеризует «доходы», которые могут, но не обязательно должны быть получены из информации.

В дальнейшем, вслед за Р.П.Поплавским полезный эффект упорядочения (управления) в некоторой подсистеме будем называть негэнтропийным эффектом и обозначать . С учетом этого:

(3.94)

Негэнтропийный эффект может достигаться как информационным, так и неинформационным способом. Так например, при сжатии или охлаждении некоторого объема газа, мы уменьшаем неопределенность координат или скоростей сразу всех молекул, то есть получаем требуемый эффект именно неинформационным способом.

Второе следствие приведенного уравнения: имея две аналогичные термодинамические системы с различной энтропией, мы вправе утверждать, что разность в точности определяется различным количеством информации об их внутренней структуре.

Для характеристики степени необратимости процесса упорядочения некоторой системы, Р.П.Поплавский вводит понятие энтропийной эффективности, которая представляет собой определенный аналог коэффициента полезного действия в процессе передачи энергии:

(3.95)

7. Процессом, который позволяет оценить взаимосвязь термодинамической и информационной энтропии, является процесс управления и его первичный элемент - процесс измерения, то есть процесс получения информации. Увеличение упорядоченности системы при управлении приводит к снижению энтропии, но одновременно этот же процесс ведет к росту энтропии среды, окружающей данную систему. В результате, энергетическая цена всякого процесса управления (упорядочения) есть повышение энтропии окружающей среды. Энтропийная эффективность характеризует КПД преобразования энтропии в информационных процессах.

При этом даже без учета затрат на управление во всех случаях:

(3.96)

То есть негэнтропийная эффективность управления всегда меньше единицы.

Исследование позволило уточнить и приведенные выше выражения для негэнтропийного эффекта информации.

В отличие от формулы (3.95), учитывающей возможность как обратимых, так и необратимых процессов, новая трактовка принципа указывает, что все информационные процессы, связанные с процессами упорядочения принципиально необратимы:

; (часто )

В итоге, в новой формулировке негэнтропийный принцип выглядит следующим образом:

(3.97)

Из формулы видны две основные причины, приводящие к тому, что коэффициент энтропийной эффективности меньше 1, то есть , а часто и

При любых способах получения информации в левой части уравнения имеет место строгое неравенство:

Если аккуратно учесть переход , то и при упорядочении негэнтропийный эффект почти всегда меньше информационного. То есть и тут почти всегда имеет место строгое неравенство.

8. Для определения энергетической цены информации рассмотрим одно из определений понятия «сообщение», как состояние, тем или иным образом отличное от других состояний. В таком случае встает вопрос о пороге различимости состояний.

В наиболее общем виде мы можем утверждать, что причиной неразличимости состояний является их тождественность или одинаковость, например, когда последовательно наблюдаются два весьма схожие между собою предмета, явления, события, которые трудно или невозможно различить (равнозначная информация) или когда в обоих случаях наблюдается один и тот же предмет (тождественная информация). Наконец, это могут быть и разные состояния, но мы не имеем средств для их различения. Например, два измеряемых предмета имеют разную длину, но если различие находится в пределах погрешности измерения, мы не установим степень различия. Наконец, чтобы просто увидеть тот или иной объект (например, молекулу в случае «демона Максвелла»), требуется, чтобы на сетчатку глаза «демона» ли иной регистрирующий прибор попал хотя бы один квант лучистой энергии требуемого спектра, причем, безразлично, излучается ли эта энергия самим объектом, или рассеивается в результате облучения со стороны внешнего агента.

Исследуя эти проблемы на примере физического измерения, Л.Бриллюэн сформулировал очень важный физический закон: всякое измерение требует соответствующего увеличения энтропии и имеется нижний предел, ниже которого измерение становится невозможным.

Этот предел соответствует изменению энтропии порядка постоянной Больцмана (). Более тщательное исследование показало, что точное значение предела равно на одну двоичную единицу информации. Отсюда следует, что любой опыт, дающий информацию о физической системе, приводит в среднем к увеличению энтропии системы или ее окружения. Это среднее увеличение всегда больше получаемого количества информации (или равно ему). Другими словами, информация всегда должна оплачиваться негэнтропией, причем оплата всегда больше, чем получаемое количество информации или равна ему. Всякое наблюдение всегда сопровождается увеличением энтропии и связано, таким образом, с необратимыми процессами.

Указанный минимум как раз соответствует двоичной единице. То есть есть предел, при котором имеем 50% шансов за то, что наблюдение правильно и 50% шансов за то, что наблюдаемое отклонение обусловлено тепловым движением (то есть шумом).

Дальнейшие исследования показали, что для получения правильного наблюдения (надежного результата наблюдения) требуется негэнтропия равная , то есть, почти в шесть раз больше.

Пересчитав эти величины в единицах информации, мы можем сделать важный для дальнейшего вывод: для надежной идентификации наблюдаемого слабо различимого на общем фоне объекта, явления, события, мы должны обладать предварительной информацией относительно сущности этого явления, объекта или события, его общих характеристик почти в шесть раз большей, по сравнению с той, которую получаем в результате наблюдения.