Качественная характеристика информации

Знание только тогда знание, когда оно приобретено усилиями своей мысли, а не памятью.

Л. Н. Толстой

Что представляет собой математическая теория информации? Что она может и чего не дает?

Чтобы ответить на такие вопросы, нужно сначала сказать о том, каким путем формируется знание в эмпирических науках, с одной стороны, и в математике – с другой.

В эмпирических науках познание, как правило, начинается с получения качественных характеристик предметов, затем переходят к установлению их количественных параметров. Завершают формирование знаний о предметах в единстве их качественных и количественных определений. В математике теоретические построения осуществляются существенно иначе – дедуктивным, или аксиоматическим, методом. Особенно это относится к построению формально-аксиоматических теорий, каковой является теория информации и в статистическом (К. Шеннон) и в комбинаторном (Р. Хартли) вариантах.

Таким образом, эмпирические науки опираются на реальные факты действительности и исходят из их содержательной характеристики, а затем через обобщение и формализацию содержания строят теорию для целого класса объектов.

В отличие от этого формализованная математическая теория не опирается на факты, не исходит из них и не выводит своих аксиом из опыта. Формальная аксиоматика изначально абстрагируется от реальных объектов. Она чисто формально (бессодержательно) и абстрактно выдвигает аксиомы, из которых по определенным правилам выводится система теоретических утверждений. Но такая теория и не является знанием до тех пор, пока не будет найдена область реальных объектов, которым бы она соответствовала. Лишь после нахождения такой области объектов формальная теория обретает свойство содержательного знания и становится истинной теорией. Если же не будет найдено области адекватных объектов, то такое формальное построение отбрасывается или существенно перестраивается, и в дальнейшем снова ведется поиск реальных объектов.

Как видим, формальная аксиоматика начинает с построения некоей теоретической конструкции. Но теории чего? какого класса объектов? – это вначале неизвестно. Именно так строится математическая теория исчисления количества информации. С точки зрения здравого смысла получается парадокс: теория есть, но от предмета исчисления изначально абстрагировались. Теория информации не раскрывает природы информации, не дает ее содержательной характеристики. То есть имеется несоответствие между названием «теория информации» и содержанием этой теории. Название молчаливо предполагает, что теория информации содержательно раскроет природу своего предмета, но фактически она дает лишь абстрактный математический аппарат для исчисления количества информации.

Поэтому, если быть точным, в математике мы имеем дело с теорией исчисления количества информации, а не с теорией информации вообще. Это нужно постоянно иметь в виду. Отвлечение от качественной стороны информации – это необходимое условие и цена возникновения абстрактной количественной теории.

Человеческому разуму трудно смириться с таким односторонним (исчисленческим) подходом, поскольку знания всегда отражают какую-то реальность. Правда, в начале рассуждений информацию обычно идентифицируют с человеческим знанием. Говорят, что сообщение дает нам знание или информацию. Но что при этом понимается под знанием?

В статистической теории информации К. Шеннона сообщение рассматривается не как осмысленное знание о фактах действительности, а лишь как некоторая последовательность знаков, например, букв алфавита. Для исчисления количества информации важно лишь одно – знаем мы (или не знаем), из какого числа и сочетания знаков образовано ожидаемое сообщение. В математической теории информации в качестве условия выдвигается разделение знаковой (синтаксической) и смысловой (семантической) сторон сообщения при полном абстрагировании от семантики.

Конечно, для случая с телеграфным аппаратом, не воспринимающим смысла слов, достаточна лишь последовательность цифровых кодов букв, посылаемых по линии связи. А поскольку теория информации настолько обща, что охватывает и телеграфную связь, то для такой теории представление сообщений только в синтаксической форме оправдано. Это противоречит представлениям о человеческой коммуникации посредством естественного языка. Здесь логический смысл играет ведущую роль, и вообще семантическая организация существенно определяет синтаксический строй высказывания. Даже логический строй не исчерпывает всего качества мышления, поскольку оно зависит и от эмоциональных оценок, и от образных составляющих, и от воли говорящего.

Таким образом, полное отвлечение от качественной стороны информации – существенный пробел математической теории исчисления количества информации, так как качество вообще не сводимо к количеству, и одним количеством «бит» не выразить качественной стороны (природы) информации. Структура радиосигнала, ощущения, воображения и мышления, выражающая качественное различие информации, заключенной в них, не выражается общим количественным шаблоном в виде числа «бит». Если бы мы умели учитывать качественную сторону информации введением некоторых переводных коэффициентов, то эффективность моделирования сенсорных и мыслительных процессов могла бы существенно повыситься.

Каким путем можно получить качественную характеристику информации? Этот вопрос широко обсуждался в кибернетической и философской литературе в 60-70-х годах. Одним из самых традиционных и, как казалось, строгих подходов к решению данного вопроса был и остается термодинамический, когда пытаются решить вопрос на путях противопоставления информации и энтропии.

Что представляет собой энтропия и каким образом вышли на ее сопоставление с информацией? Остановимся кратко на освещении этого вопроса.

Понятие энтропии введено в термодинамике немецким физиком Р. Клаузиусом (1865). Он показал, что процесс превращения теплоты в работу подчиняется определенному физическому закону – второму началу термодинамики, которое можно выразить математически, если ввести особую функцию состояния тел – энтропию. Слово «энтропия» в переводе с древнегреческого означает «поворот», «превращение». Точнее говоря, в термодинамике энтропия трактуется как мера необратимости самопроизвольного перехода работы в теплоту и рассеяния последней. Понятие энтропии применяется и в других дисциплинах: в статистической физике как мера вероятности осуществления какого-либо макроскопического состояния; в теории информации как мера неопределенности какого-либо опыта, который может иметь разные исходы. Эти трактовки энтропии имеют внутреннюю связь.

В основе термодинамики лежат два начала.

Первое начало выражается законом сохранения и превращения энергии: энергия не сотворима и неуничтожима, она лишь переходит из одних форм в другие. Но этим законом не раскрывается направленность превращений энергии: из каких одних в какие другие она может превращаться самопроизвольно, без вмешательства посторонних сил?

Второе начало как раз и отвечает на этот вопрос, оно фиксирует наличие направленности переходов в сторону нарастания энтропии, то есть обесценения энергии.

Так, механическое движение может самопроизвольно переходить в теплоту, но обратный переход самопроизвольно не происходит. Аналогично электромагнитная энергия может самопроизвольно переходить в механическую, которая, в свою очередь, переходит в тепловую, но обратных переходов самопроизвольно не происходит. Конечно, можно создать условия, при которых теплота будет вынуждена перейти в механическое движение, но для этого потребуется вмешательство посторонних сил, которые требуют дополнительной траты энергии.

Для наглядности Р. Клаузиус иллюстрировал энтропию простым примером: от горячего тела теплота переходит к холодному, но самопроизвольно не происходит перехода теплоты от холодного тела к горячему. Энтропия выражает степень вырождения, или обесценения, энергии. Математическое описание энтропии показывает, что она может накапливаться, то есть со временем нарастает.

Подразумевая важность обоих начал термодинамики для Вселенной, Р. Клаузиус выразил их так: 1) энергия в мире постоянна, 2) энтропия мира стремится к максимуму.

Отсюда вытекает гипотеза тепловой смерти Вселенной. Представим, что в соответствии со вторым началом термодинамики в мире все формы энергии хорошего качества постепенно перейдут в тепловую (плохую) энергию, а теплота со временем равномерно распределится между телами. Тогда даже теплота перестанет переходить от одного тела к другому, то есть всякое движение прекратится, хотя общее количество энергии в мире останется неизменным. Это и означает наступление тепловой смерти Вселенной, поскольку материя без движения не существует.

Концепция тепловой смерти Вселенной сразу же была подвергнута критике.

Второе начало термодинамики гласит: в замкнутых, термически изолированных системах происходит необратимый процесс возрастания энтропии.

Критики аргументировали свое несогласие с концепцией тепловой смерти Вселенной тем, что замкнутые системы создаются человеком искусственно в эксперименте, тогда как природные физические системы открыты, они обмениваются взаимодействиями со средой, и там второе начало не выполняется. Поэтому нельзя распространять второе начало термодинамики на Вселенную и концепция ее тепловой смерти несостоятельна.

В 1878 году австрийский физик Л. Больцман истолковал тепловые процессы с позиций молекулярно-кинетической теории и дал их статистическое описание. Он принял, что с ростом температуры системы хаотичность движения ее частиц (атомов и молекул) возрастает, и, наоборот, с понижением температуры их хаотичность снижается. Рост хаотичности движения частиц он истолковал как рост дезорганизации системы, а снижение хаотичности, наоборот, как рост организованности материальной системы. Он показал также, что поскольку в тепловых процессах участвует огромное количество мельчайших частиц, то описание таких процессов методами классической механики в принципе невозможно. Здесь требуется другой – статистический метод описания тепловых процессов, когда наступление некоторого состояния макросистемы выражается вероятностью (Р).

Таким образом, Л. Больцман установил связь между энтропией и термодинамической вероятностью. Здесь энтропия (S) определяется с точностью до постоянного множителя (К) как логарифм вероятности (Р) достижения системой состояния энтропии:

S = KlоgР. (1)

В статистической трактовке энтропия характеризуется не как обесценение энергии (как полагал Р. Клаузиус), а как нарастание хаотичности, точнее – как нарастание дезорганизации материальных систем. Л. Больцман, как и Р. Клаузиус, исходил из неустранимости этого вывода для Вселенной: энтропия мира стремится к максимуму. Значит, эволюция Вселенной идет по пути дезорганизации материальных систем, что эквивалентно гипотезе тепловой смерти Вселенной.

Вместе с тем Л. Больцман видел, что вступает в противоречие с идеями эволюционизма в геологии, палеонтологии и биологии. И тогда он предложил малоубедительный выход из этого затруднения. Он сослался на то, что в тепловых процессах на общем фоне нарастания энтропии (дезорганизации) в локальных зонах пространства по теории вероятности могут происходить обратные процессы нарастания организованности материальных систем. Применительно к Вселенной локальная зона может разрастаться до глобальных масштабов, как, например, земная жизнь.

Поскольку энтропия – отрицательная характеристика, то ею неудобно пользоваться для описания эволюции в природе. Поэтому в 50-х годах XX столетия французский физик-теоретик Л. Бриллюэн счел необходимым дополнить понятие энтропии противоположным понятием негэнтропии: N = - S. Если энтропия (S) – мера дезорганизации материальных систем, то негэнтропия (N); наоборот, – мера их организованности, или упорядоченности.

Принято считать, что Л. Бриллюэн дал обоснование негэнтропийного принципа в определении информации.

В сущности, он отождествил информацию с негэнтропией на основе уподобления термодинамической и информационной энтропии. Таким образом, негэнтропийный подход завершил привязку энтропии, негэнтропии и информации к организации материальных систем.

Статистическое определение количества информации устанавливается при помощи понятий «определенность», «неопределенность», «выбор» или «исход». Пусть задача имеет n равновероятных решений (исходов), а ожидаемое сообщение связано только с одним из n исходов. Например, в мешке спрятаны 32 картонных квадратика, на каждом из которых изображена одна из букв русского алфавита. Наша задача состоит в том, чтобы вслепую вытащить из мешка только одну заданную букву. Вначале наше положение полностью неопределенно, так как буквы в мешке перемешаны как попало. Это эквивалентно хаотичному движению атомов и молекул в термодинамике, то есть максимальной энтропии. По мере того как мы вслепую будем вынимать буквы и их в мешке будет оставаться все меньше, неопределенность нашего положения будет уменьшаться, так как вытянуть заданную букву из меньшего их числа более вероятно. Но тогда и количество получаемой информации будет уменьшаться. Когда в мешке останется одна картонка, то мы, не глядя в мешок, будем знать, что там осталась искомая буква. Здесь результат известен заранее, поэтому последний выбор новой информации нам не дает.

Итак, вначале наше положение было полностью неопределенным, что эквивалентно максимальной энтропии и минимальной информации. В концепции Л. Бриллюэна это следует из того, что негэнтропия N, с одной стороны, противоположна энтропии (N = -S), а с другой – информация Н эквивалентна негэнтропии. Поэтому информация – величина, противоположная энтропии (Н = -S). Следовательно, максимальная энтропия, взятая со знаком «минус», эквивалентна максимальной информации.

Для определения численного значения величины Н необходимо наложить некоторые ограничения:

а) зависимость Н от вероятности Pi любого исхода должна быть непрерывной,

б) чтобы величина Н монотонно возрастала, необходимо, чтобы она была логарифмической функцией и все исходы Pi были равновероятны.

При выполнении этих условий количество информации определяется формулой американского математика и кибернетика К. Шеннона [51]:

ⁿ

H = – K∑PilogPi (2)

₁₌₁

Здесь Рi – вероятность отдельного исхода, К – постоянный множитель, которым определяется выбор единицы измерения; поскольку правая часть соотношения (2) взята со знаком «минус», то Н – полная информация.

Следовательно, в концепции Л. Бриллюэна информация соотносится с энтропией через введение негэнтропии и уподобление информационной и термодинамической энтропии. В отличие от этого К. Шеннон соотносит их на основании сходства математической формы записи соотношений (1) и (2).

Таким образом, понятие негэнтропии выполнило роль посредника, связывающего информацию с энтропией, и дальше оказалось излишним.

Энтропия – мера дезорганизованности материальных систем, а информация, наоборот, – мера их организованности. Получается, что противоположная связь с организацией материальных систем выражает природу энтропии и информации. Такой качественной характеристики энтропии и информации придерживаются многие авторы.

Мы проследили и осветили эволюцию антиэнтропийной характеристики природы информации. Если бы данное решение было общепризнанным достижением или, по меньшей мере, современная наука не позволяла бы поставить это решение под сомнение, то мы должны были бы на этом поставить точку. Однако ни одно из этих условий не выполняется: и решение это далеко от общего признания, и данные науки второй половины XX века позволяют поставить такое решение под сомнение. Поэтому мы обязаны дать критическое рассмотрение полученного результата. Представим наш анализ кратко в тезисной форме.

* * *

Необходимо подчеркнуть, что мы обсуждаем лишь вопросы качественной интерпретации энтропии и информации, не ставя под сомнение экспериментально-математические основания этих теорий.

Предметом нашего анализа будут два связанных между собой утверждения:

а) энтропия мира стремится к максимуму,

б) природа энтропии и информации связана с организацией материальных систем.

1. Сначала выскажемся в поддержку Р. Клаузиуса и Л. Больцмана о правомерности распространения второго начала термодинамики на Вселенную. Их критики пытались спасти Вселенную от тепловой смерти простым запретом на применение второго начала к космическим системам. Они считают, что закрытость экспериментальных систем искусственна, тогда как природно-космические системы открыты, они взаимодействуют со средой, поэтому к ним не применимо второе начало.

1.1. В этом пункте аргументация критиков некорректна, поскольку под закрытостью они подразумевают всестороннюю изолированность системы от среды. Но в термодинамике от закрытых систем требуется только термическая изолированность, во всех других отношениях они могут быть открытыми. Так, гравитационные взаимодействия пронизывают любые системы – в условиях наземного эксперимента, как и в условиях космоса.

Значит, признак открытости или закрытости систем не работает в качестве аргумента, он просто некорректно представлен. Поэтому хотя такая критика повторяется уже более ста лет, она не опровергает концепции тепловой смерти Вселенной.

1.2. Распространяя второе начало на Вселенную, Р. Клаузиус и Л. Больцман формально были правы, поскольку для этого требуется лишь одно – термическая изоляция системы. Данные современной науки позволяют считать это требование выполнимым. В 60-х годах было открыто фоновое реликтовое электромагнитное излучение с температурой около 3° по шкале Кельвина, или -270 °С. Поскольку в любых частях Вселенной эта температура одинакова, то при рассмотрении локальных систем от нее можно абстрагироваться. Поэтому при достаточном удалении системы от источников тепла, например от звезд, системы будут термически изолированы. Даже на поверхности планеты Нептун температура составляет лишь -217 °С, что свидетельствует о слабой тепловой зависимости этой планеты от Солнца. Но уже на границе Солнечной системы за пределами облака Оорта температура может быть близка к -270 °С, чем обеспечивается идеальная термическая изоляция помещенной туда системы. Это тем более справедливо для громадных межзвездных и межгалактических пространств. Поэтому формально второе начало распространимо на космические объекты и Вселенную.

2. Сказанное, однако, не означает правильности концепции тепловой смерти Вселенной по существу.

2.1. Парадокс состоит в том, что именно при попытке применения второго начала к Вселенной проявляется внутреннее противоречие этого начала, чем и преодолевается концепция тепловой смерти Вселенной по существу.

В самом деле, согласно статистической термодинамике с ростом температуры нарастает хаотичность движения частиц, что, по Больцману, эквивалентно росту дезорганизации системы. Наоборот, с понижением температуры хаотичность движения частиц снижается, возрастает организованность системы. При абсолютном нуле температур хаотичное движение частиц прекращается, организация материальных систем стабилизируется и энтропия их устремляется к нулю.

Таким образом, применение второго начала к Вселенной дает результат, противоположный предрекаемому: энтропия мира стремится к нулю, а не к максимуму. Отсюда вытекает неправомерность сведения энтропии к росту дезорганизации материальных систем.

2.2. Но сколь бы существенной ни была теоретическая аргументация, еще важнее опытное подтверждение, которое дают наблюдательные данные всеволновой астрономии. Современные наблюдения эволюции звездных ассоциаций показывают, что процессы образования звезд не сводятся к спонтанным флуктуациям, что в наблюдаемом мире одни формы энергии непрерывно превращаются в другие.

Хотя масштабы астрофизических наблюдений огромны (ученые заглянули в космос на расстояние порядка 10 млрд. световых лет) и зафиксировано огромное количество галактик, которые к тому же хорошо термически изолированы друг от друга.

Однако до сих пор не наблюдалось ни одной галактики в состоянии тепловой смерти. Известно также, что потоки превращений энергии во Вселенной задаются главным образом гравитационными взаимодействиями. Они преобладают в космосе количественно и имеют практически нулевую энтропию. Нигде в космосе не наблюдается тотального превращения гравитационных и электромагнитных взаимодействий в тепловые и нет равномерного рассеяния теплоты. Хотя Вселенная существует 15-20 млрд. лет и за такой гигантский интервал времени наша Метагалактика должна была бы уже многократно перейти в состояние дезорганизации и хаоса, но ничего подобного не наблюдается. Наоборот, во Вселенной происходит образование различных источников мощных космических излучений – звезд, нейтронных звезд, квазаров и других объектов.

Таким образом, теоретический анализ обнаруживает внутреннее противоречие второго начала, поскольку при температуре (примерно -270 °С) реликтового излучения Вселенной ее энтропия должна стремиться к нулю, а не к максимуму. Такое противоречие является симптомом, опасным для самого второго начала. В то же время у нас нет оснований ставить под сомнение экспериментально-математические основания этого начала.

Каков выход из этого клубка несоответствий и противоречий? На наш взгляд, указанные трудности порождаются неадекватной трактовкой энтропии в термодинамике, ее привязкой к организации материальных систем, из чего и вытекает несуществующая дезорганизация Вселенной.

В термодинамике энтропия изначально трактовалась иначе – как функция состояния системы (Р. Клаузиус, В. Томсон, Л. Больцман, М. Планк и др.). Поэтому и качественная характеристика энтропии должна выводиться из состояния систем. Во всяком случае так рассматривал информацию Н. Винер и определял ее как меру организации состояния и групп состояний [7]. К сказанному уместно добавить, что отражение как общее свойство материи тоже является функцией состояния отображающей системы, что было показано нами ранее [45].

Таким образом, четыре величины являются функцией состояния тел, или систем: информация, отражение, энтропия и негэнтропия. Установить адекватно природу этих величин, на наш взгляд, можно лишь на пути исследования состояния материальных систем, а не организации самих систем.