Вероятность

Несмотря на широкое применение вероятностных методов в исследовании самых разных сторон реальности, их методологическая сущность до настоящего времени не имеет достаточно разработанного философского обоснования, о чем еще в 1936 году писал А.Н.Колмогоров[34].

Недостаточность формальной математической трактовки вероятностных подходов к пониманию их природы ощущается и физиками. Так, один из основателей квантовой механики и автор ее статистической трактовки М.Борн характеризуя проблему, писал, что хотя формальный метод исчисления вероятностей так же очевиден и ясен, как и метод любой другой области математики, но ее философские основы не совсем ясны. Философы пробовали решить проблему с помощью анализа понятий. Но речь идет скорее не о понятиях, а о фактах, об объективных явлениях, и особенно о тех, которые принадлежат к области физики[35].

Не менее существенной представляется необходимость глубокого уяснения сущности вероятностных методов для разработки методологии решения стоящих пред нами задач.

С нашей точки зрения достаточно глубоко эти проблемы поставлены и разработаны В.И.Корюкиным[36], поэтому ограничимся изложением выдвинутых им положений, сущность которых сводится к следующему.

Каждое событие или явление, каким бы неожиданным и сложным оно не казалось, всегда имеет причину и материальный механизм своего осуществления, который может быть известен полностью, известен частично или вообще неизвестен.

В этом смысле, событие, которое мы называем случайным само по себе всегда необходимо.

Но необходимость всегда объективно неоднородна. Она имеет разный порядок уровней.

Случайное, поэтому, может быть рационально понято как необходимое в частной связи: будучи детерминированным непосредственными обстоятельствами (необходимым в частной связи), оно не детерминировано в такой же мере обстоятельствами более широкого масштаба. К примеру, появление данного человека в данном месте и в данное время всегда конкретно обусловлено во всех звеньях процесса, но отнюдь не является таковым в масштабе его жизни. Само его появление на свет не является жестко детерминированным в рамках существования конкретного человеческого сообщества и т.д.

Соотношение необходимостей разного порядка должно рассматриваться не только в их проявлениях в конкретных событиях, но и с точки зрения взаимосвязи условий, порождающих данное событие, которые также неоднородны и имеют разное значение для его осуществления. Одни из них – необходимые условия – жестко определяют появление данного события. Без них оно в принципе не может состояться. Другие (дополнительные и достаточные) – не являются обязательными, допускают замену в более или менее широких масштабах, но в комплексе с необходимыми условиями вызываю именно это событие, во всех его проявлениях. Соотношение между значимостью тех и других условий определяет характер, закономерность протекания событий и явлений.

Данное дополнительное и достаточное условие способствует возникновению события лишь в частной связи (могло бы реализоваться и другое событие), но оно накладывает свой отпечаток. В этом смысле случайность может рассматриваться как дополнение необходимости.

В предельном случае, когда условия необходимы и достаточны, происходит это и только это событие. Здесь мы имеем динамическую закономерность протекания событий. Но в более распространенных случаях, когда необходимые условия не являются достаточными, мы имеем статистическую закономерность, важнейшей и неустранимой характеристикой которой является вероятность.

9. Неопределенность.

Рассматривая признаки и свойства неопределенности, А.Д.Урсул подчеркивает, что понятию неопределенности свойственны следующие наиболее общие существенные признаки.

Во-первых, это отсутствие резких граней между свойствами и состояниями явлений природы;

во - вторых, преобладание зависимости свойств, состояний, явлений природы, над их относительной независимостью;

в третьих, проявление необходимости не как неизбежности, а как возможности и случайности.

Напротив, определенность характеризует такую форму объективного существования явлений, которая обладает признаками:

1) наличием резко выраженных граней между состояниями явлений природы;

2) относительной независимостью свойств, состояний явлений друг от друга;

3) выражением необходимости через однозначность переходов возможности в действительность.

Причем, невозможность каких - то состояний, переходов, преобразований, является, по-видимому, одним из главных признаков характеристики явления определенности.

Между определенностью и неопределенностью существует глубокая взаимосвязь и взаимообусловленность. Определенность явлений природы существует только на основе неопределенности, возникает из нее и является ее стороной; неопределенность - это определенность в ее становлении[37].

10. Энтропия. Понятие неопределенности явилось исходным для введения понятия информационной энтропии, которая рассматривается в статистической теории информации как мера неопределенности сообщений.

Сообщения описываются множеством величин и вероятностей появления этих величин в сообщении.

Для случая определенного (дискретного) статистического распределения вероятностей информационная энтропия определяется следующим образом:

при

(3.84)

В более широкой трактовке, исходящей не из процесса передачи информации, а из процесса ее получения есть вероятность некоторого(k –го) состояния из n возможных состояний, в которых может находиться данная система.

В такой трактовке энтропия оказывается не только характеристикой информации в процессе ее передачи, но свойством самой системы.

При этом , если какой-либо , а остальные равны нулю. Это соответствует случаю, когда неопределенность отсутствует, а информация достоверна.

Поскольку энтропия определяется двумя факторами – числом возможных состояний и вероятностью каждого из них, она тем выше, чем больше разнообразие системы, а при фиксированном количестве состояний – энтропия, в соответствии с формулой (3.84.) принимает наибольшие значения, когда все одинаковы, то есть при равной вероятности всех состояний.

Информационная энтропия, как и термодинамическая, обладает свойством аддитивности: энтропия нескольких сообщений равна сумме энтропий отдельных сообщений.

Существенный вопрос представляет проблема измерения энтропии.

Рассмотрим первоначально этот вопрос применительно к случаю равновероятных распределений состояния системы.

Пусть имеется n равноправных и, следовательно, равновероятных возможностей. Энтропия для такого случая определяется выражением

где – положительная константа, связанная с выбором единиц измерения.

Поскольку логарифмическая мера информации впервые была введена Хартли, величину обычно называют хартлиевским количеством энтропии.

Укажем три основных способа выбора единиц измерения энтропии и информации:

Если принять = 1, то энтропия будет измеряться в натуральных единицах (натах):

Если положить , то будем иметь энтропию, выраженную в двоичных единицах(битах):

Наконец, мы будем иметь физическую шкалу, если в качестве К возьмем постоянную Больцмана. Энтропия, измеренная в этих единицах будет:

(3.85)

Для измерения энтропии в случае неравновероятных возможностей, или, что то же не равной вероятности появления событий будем пользоваться формулой (3.84) или, имея ввиду возможность замены вероятности события случайной величиной, более общей формулой

(3.86)

где - случайная величина, а - ее распределение вероятностей. Энтропию, выраженную формулой (3.10.) будем называть больцмановской энтропией (и, соответственно, больцмановской информацией).

Приведем без доказательства некоторые теоремы, указывающие на свойства энтропии [38].

Ø Энтропия всегда неотрицательна.

Ø Энтропия имеет максимальное значение, равное , когда возможности (реализации) равновероятны, то есть когда

Ø Если случайные величины независимы, то их полная совместная энтропия распадается на сумму энтропий:

(3.87)

Это свойство распространяется на любое количество независимых случайных величин.

Поскольку мы нередко имеем дело со связанными системами, то есть системами, которые находятся во взаимосвязи, существенное значение играет понятие условной энтропии.

Пусть имеются две зависимые системы X и Y. Допустим, что система X приняла значение x. Тогда условная вероятность того, что система Y примет состояние y при условии, что система X находится в состоянии x, равна .

Тогда условная энтропия системы Y будет равна:

или

Если две системы объединяются в одну, то энтропия объединенной системы равна энтропии одной из них плюс условная энтропия второй части систем относительно первой.

(3.88)

Если системы независимы – имеем простую сумму энтропий; если же состояние одной системы полностью определяет состояние другой – общая энтропия равна энтропии определяющей системы.

11. Информация. Вероятностные подходы.

11.1. Связь энтропии и информации была в неявной форме отмечена Л.Сцилардом в 1929 году. В ходе анализа парадокса «демона Максвелла», он указал, что энтропия, теряемая газом благодаря разделению частиц с высоким и низким уровнем энтропии, равна информации, получаемой демоном Максвелла, передающейся наблюдателю «эксперимента».

Позже К.Шенноном было замечено совпадение математического выражения для информационной энтропии с формулой Л.Больцмана для термодинамической энтропии и дано определение информации, основанное на энтропии сообщения.

Отмечая формальное тождество количества информации количеству термодинамической энтропии, взятой с обратным знаком (то есть отрицательной энтропии) Н.Винер констатировал, что количество информации, будучи отрицательным логарифмом величины, которую можно рассматривать как вероятность, по существу есть некоторая отрицательная энтропия.

Таким образом, понятия термодинамической и информационной энтропии, по существу, как бы «сливаются», вновь демонстрируя глубокое единство законов природы на всех уровнях движения материи.

Следствием столь тесной связи является то, что из вероятностной трактовки информационной энтропии могут быть выведены основные распределения статистической физики: каноническое распределение Гиббса, которое соответствует максимальному значению информационной энтропии при заданной средней энергии и большое каноническое распределение Гиббса – при заданной средней энергии и числе частиц в системе.

С другой стороны наличие тесной связи термодинамических и информационных характеристик систем материального мира позволяет предположить, что и информация тесно связана с энергетическими процессами. А это означает, что непроходимой пропасти между теми и другими нет.

Рассмотрение некоторых философских подходов к пониманию сущности информации, ряда фундаментальных понятий теории информации позволяет перейти к более точному определению самого понятия информации и рассмотрению ее сущности.

11.2. Многогранность информации, как категории, породила довольно много определений этого понятия: информация – это обозначение содержания, полученного от внешнего мира в процессе приспособления к нему (Винер); информация – отрицание энтропии (Бриллюэн); информация – коммуникация и связь, в процессе которой устраняется неопределенность (Шеннон); информация – передача разнообразия (Эшби); информация – оригинальность, новизна; информация – мера сложности структур(Моль); информация – вероятность выбора (Яглом) и т.д. Каждое из этих определений раскрывает ту или иную грань (аспект) этого многозначного понятия.

В соответствии со сложившимися в нашей философской литературе представлениями информация есть одно из свойств предметов, явлений объективной действительности, созданных человеком управляющих машин, которое заключается в способности:

Ø воспринимать внутреннее состояние и воздействие окружающей среды;

Ø сохранять определенное время результаты этого воздействия;

Ø передавать сведения о внутреннем состоянии и накопленные данные другим предметам, явлениям, процессам.

В зависимости от области деятельности и конкретных целей исследования в различных случаях под термином «информация» понимаются[39]:

Ø Сообщение, осведомление о положении дел, сведения, о чем-либо, передаваемые людьми.

Ø Уменьшаемая, снижаемая неопределенность в результате получения сообщения.

Ø Сообщение, неразрывно связанное с управлением, сигналы в единстве синтаксической, семантической и прагматической характеристик.

Ø Сообщение, отражающее разнообразие в объектах живой и неживой природы.

Последние четыре определения дают интересный материал для обобщений. Отвлекаясь от докибернетического понимания информации, как сообщения, осведомления, рассмотрим три других определения.

1)Информация, как уменьшаемая, снижаемая неопределенность в результате получения сообщения. По существу, информация в такой трактовке предстает как разность между величиной энтропии системы до получения сообщения ( -априорная энтропия) и величиной энтропии после получения сообщения ( - апостериорная энтропия):

(3.89)

Максимальная информация, которую мы можем получить о системе, равна величине ее максимальной энтропии.

2) Представление информации как сообщения, неразрывно связанного с управлением, как сигналов в единстве синтаксической, семантической и прагматической характеристик дает богатые возможности для решения самых разных практических задач. Как видно из такой трактовки, информационное сообщение или сигнал можно рассматривать с различных сторон и, соответственно, оценивать четырьмя группами характеристик.

Ø Неизбыточность, то есть степень новизны сведений, содержащихся в данном сообщении;

Ø Синтаксический аспект, то есть характеристика правильности и полноты передачи сообщения, сигнала, безотносительно к их содержанию;

Ø Семантический аспект, то есть характеристика содержательной стороны сообщения, правильности понимания его содержания и сущности;

Ø Аксиологический аспект (прагматическая характеристика) – рассматривает сообщение с точки зрения его ценности, полезности для получателя, правильности оценки полезности, ценности сведений, содержащихся в сообщении.

Если сообщение не воспринято, то мы не получаем ни каких сведений; если сообщение не понято или понято неверно, то мы вновь не получаем информации или получаем искаженную информацию; если сведения поняты, но не представляют для нас интереса, хотя бы с точки зрения простой любознательности, мы вновь не получаем информации; наконец, если содержащиеся в воспринятом нами сообщении сведения поняты, полезны для нас, но ничего нового не добавляют к тому, что нам уже известно – мы также не получим информации.

Все сказанное позволяет сформулировать еще одно определение понятия информации, которое, в какой-то мере объединяет рассмотренные ранее и весьма удобно для использования в практических исследованиях.