Правило Байеса

Для представления неопределенности знаний можно весьма эффективно использовать положения теории вероятностей. Подобные представления базируются на понятии условной вероятности. Как следует из определения, условная вероятность события d при данном s – это вероятность того, что событие d наступит при условии, что наступило событие s. Например, условной вероятностью является вероятность того, что у пациента действительно имеется заболевание d, если у него обнаружен только симптом s. Для вычисления условной вероятности используется следующая формула:

Как видно из данной формулы, условная вероятность определяется через понятие совместности или одновременности событий, то есть вероятности совпадения событий d и s, разделенное на вероятность события s. Из приведенной формулы очевидно, что вероятность совпадения или произведения двух событий равна произведению вероятности одного из них и условной вероятности другого, вычисленную при условии, что первое имело место:

Подставляя последнюю формулу в определение условной вероятности можно получить правило Байеса в простейшем виде:

Это правило позволяет определить вероятность P(d | s) появления события d при условии, что произошло событие s через заранее известную условную вероятность P(s | d). В полученном выражении P(d) – априорная вероятность наступления события d, а P(d | s) – апостериорная вероятность, то есть вероятность того, что событие d произойдет, если известно, что событие s свершилось. Данное правило иногда называют инверсной формулой для условной вероятности, так как она позволяет вычислить вероятность P(d | s) через P(s | d).
Для систем, основанных на знаниях, правило Байеса гораздо удобнее формулы определения условной вероятности через вероятность одновременного наступления событий P(d. s).В этом достаточно просто убедится. Пусть у пациента X имеется некоторый симптом симптом_Y и необходимо узнать, какова вероятность того, что этот симптом является следствием заболевания заболевание_Z. Для того чтобы непосредственно вычислить P(заболевание_Z | симптом_Y), нужно оценить каким либо образом, сколько человек в мире страдают этим заболеванием, и сколько человек одновременно имеют заболевание_Z и симптом_Y. Такая информация, как правило, недоступна или отсутствует вообще. Особенно, что касается вычисления P(заболевание_Z | симптом_Y).
Однако, если посмотреть на вероятность не как на объективную частотность событий при достаточно долгих независимых испытаниях, а как на субъективную оценку совместного наступления событий, то ситуация значительно упрощается. Например, врач может не знать или не иметь возможности определить, какая часть пациентов имеющих симптом_Y страдают от заболевание_Z. Но на основании, например собственного опыта или литературных данных, врач в состоянии оценить какой части пациентов имеющих заболевание_Z встречается симптом_Y. Следовательно, можно вычислить P(симптом_Y | заболевание_Z) и применить инверсную формулу для условной вероятности.
Ситуация значительно усложняется, если речь пойдет о множестве симптомов и множестве заболеваний. Если необходимо вычислить условную вероятность для одного симптома из некоторого множества симптомов, то потребуется m.n + m + n вычислений, где m – количество возможных диагнозов, а n – число разнообразных симптомов. Учитывая, что в медицинской диагностике используются тысячи видов заболеваний и огромное количество симптомов, эта задача становится нетривиальной.
Ситуация еще усложниться, если включить в процесс постановки диагноза сразу несколько симптомов. Правило Байеса в обобщенной форме выглядит следующим образом:

Данная формула требует (m *n)k + m + nk вычислений оценок вероятностей, что даже при небольшом k является большим числом. Такое количество оценок требуется по той причине, что для вычисления P(s1.….sk) в общем случае сначала требуется вычислить P(s1|s2.….sk). P(s2|s3.….sk).….P(sk). Однако если предположить что симптомы независимы, то количество вычислений резко снижается и становиться таким же, как и в случае учета единственного симптома, так как в для независимых si и sj P(si. sj) = P(si). P(sj). Даже, если в действительности установить независимость невозможно, можно предположить наличие так называемой условной независимости. Это предположение может основываться на каких-либо фоновых знаниях. Например, если в автомобиле нет бензина и не работает свет, то исходя из общих представлений о конструкции автомобиля можно предположить, что эти симптомы независимы. Но если автомобиль не заводится и не работает освещение, то такое предположение сделать уже нельзя. Соответственно, в системе, использующей вероятностные оценки достоверности, необходимо предусмотреть средства отслеживания зависимости между используемыми данными.