Уравнения Чепмена-Колмогорова

Рассмотрим случайный процесс с дискретными состояниями S₁, S₂, … S_n, число которых конечно.

Пусть переходы из состояния S_i в состояние S_j происходят под воздействием простейших потоков событий с интенсивностями λ_ij
(i, j=1, …, n). Если непосредственный переход из состояния S_i в состояние S_j невозможен, то считаем λ_ij =0.

Данный процесс можно изобразить с помощью размеченного графа состояний системы, представляющего собой ориентированный граф, вершины которого соответствуют состояниям процесса, а дуги – возможным переходам из состояния в состояние. Каждая дуга графа помечается соответствующей интенсивностью перехода λ_ij (рис.7.3).

Можно доказать, что рассматриваемый случайный процесс является марковским в силу того, что процесс выхода из любого состояния является простейшим и, следовательно, соответствующая вероятность перехода в другое состояние не зависит от длительности пребывания процесса в предыдущем состоянии.

Обозначим p_i(t) вероятность того, что в момент времени t процесс будет находиться в состоянии S_i. Очевидно, что для любого времени t должно выполняться условие нормировки

.

Рассмотрим процесс в момент времени t и найдем вероятности состояний спустя бесконечно малый промежуток dt. Выделим одно из состояний, например, S_k. Вероятность p_k(t+dt) того, что в момент времени t+dt процесс будет находиться в этом состоянии (событие А), можно найти по формуле полной вероятности.

Гипотезами H_i служат взаимоисключающие события, заключаю­щиеся в том, что в момент времени t процесс находится в состоянии S_i (i=1, …, n). Вероятности этих гипотез P(H_i)= p_i(t). Условные вероятности P_Hi(A) перехода из состояния S_i в состояние S_k при i≠k равны вероятности λ_ikdt попадания события, связанного с этим переходом, в интервал времени (t; t+dt) длительностью dt. Условная вероятность P_Hk(A) того, что процесс, находившийся в момент времени t в состоянии S_k, будет находиться в этом состоянии и в момент времени t+dt, будет равна вероятности того, что не произойдет ни одно из событий потоков, переводящих процесс из состояния S_k в другие состояния.

Таким образом,

Перенеся p_k(t) в левую часть равенства и разделив обе его части на dt, получим дифференциальное уравнение первого порядка.

Рассуждая аналогично для других состояний процесса, получим систему дифференциальных уравнений Чепмена-Колмогорова для вероятностей состояний.

В этой системе одно из уравнений является линейной комбинацией остальных. Поэтому из системы надо исключить одно из уравнений (на практике – наиболее громоздкое) и дополнить ее уравнением нормировки.

Вероятностным потоком перехода из состояния S_i в состояние S_k в момент времени t называется величина λ_ik p_i(t).

Тогда для составления уравнений Чепмена-Колмогорова можно использовать следующее правило.

Производная вероятности состояния равна разности вероятностных потоков, входящих в вершину графа и выходящих из нее, соответствующую этому состоянию.

Для получения решения дифференциальных уравнений необходимо задать начальные условия, являющиеся вероятностями p_i(0) состояний в начальный момент времени t=0.

Разрешив уравнения Чепмена-Колмогорова, можно найти все вероятностные характеристики исследуемого случайного процесса как функции времени.

На практике наибольший интерес часто представляет собой поведение случайного процесса в предельном режиме при t→∞.

Если существуют пределы вероятностей , не зависящие от начальных условий p_i(0) (i=1, …, n), то говорят, что случайный процесс имеет стационарный режим, характеризующийся стационарными (финальными) вероятностями p_i.

Марковский процесс с конечным числом состояний имеет стационарный режим, если его ориентированный граф является сильно связным, то есть существует путь из любой его вершины в любую другую.

Стационарная (финальная) вероятность характеризует долю времени, которую проводит в соответствующем состоянии случайный процесс в стационарном режиме.

Так как финальные вероятности постоянны, то, беря предел при t→∞ от обеих частей уравнений Чепмена-Колмогорова, получим, что производные, стоящие в левой их части, равны нулю. В результате получим систему линейных алгебраических уравнений относительно финальных вероятностей.

.

Уравнения этой системы можно составить непосредственно, пользуясь следующим правилом (законом сохранения).

Потоки финальных вероятностей, входящих в любое состояние и выходящих из него, совпадают.

При составлении уравнений для нахождения финальных вероятностей, можно использовать следующее обобщение вышеприведенного закона сохранения.

Потоки финальных вероятностей, входящих в любое сечение графа состояний и выходящих из него, совпадают.

Сечением ориентированного графа называют линию, проходящую через множество его дуг, после удаления которых ориентированный граф распадается на несвязные между собой подграфы. Сечения, для которых составляются уравнения, должны пересекать все дуги графа состояний.

Зная финальные вероятности, можно определить стационарные характеристики случайного процесса: математическое ожидание, дисперсию и другие.

Пример 7.2. Найти стационарные вероятности и стационарное математическое ожидание для марковского процесса, заданного графом. Считать, что находясь в состоянии S_i, случайный процесс сохраняет значение X(t)=i. Значения интенсивностей перехода приведены в табл.5.

Таблица 5.

Значения интенсивностей перехода

λ12	λ21	λ23	Λ34	λ41	λ43

Составим граф состояний процесса, поместив в их вершины значения случайного процесса, которые он принимает в соответствующем состоянии (см. рис.7.3).

Рис. 7.3.

Составим уравнения сохранения потоков финальных вероятностей для сечений I-III, показанных на рис. 7.3, и дополним их условием нормировки.

λ₄₁ p₄ = λ₂₃ p₂

λ₃₄ p₃ = (λ₄₁ +λ₄₃)p₄

λ₁₂ p₁ = (λ₂₁ +λ₂₃)p₂

p₁+p₂ +p₃+p₄ = 1

Подставляя численные значения интенсивностей перехода, получим

p₄= 2p₂

p₃= (1+2)p₄

4 p₁= (2+2)p₂

p₁+p₂ +p₃+p₄= 1

Откуда

p₄ = 2p₂= 2p₁

p₃ = 3p₄= 6p₁

p₂ = p₁

p₁ (1+1+6+2)= 1

Из условия нормировки получаем p₁ = 0,1.

Тогда

p₂ = 0,1; p₃ = 0,6; p₄ = 0,2.

Математическое ожидание случайного процесса в стационарном режиме постоянно и равно

.■

Литература

1. Колмогоров А.Н. Основные понятия теории вероятностей. – М.: ФАЗИС, 1998.

2. Кремер Н.Ш. Теория вероятностей и математическая статистика. – М.: И, 2000.

3. Ковбаса Н.И., Ивановский В.Б. Теория вероятностей и математическая статистика. – С.-Пб.: Альфа, 2001.

[1] Это классическое определение вероятности.– Прим. авт.

[2] Эта формула часто используется в качестве определения независимых событий. – Прим. авт.

[3] Распределение называется «биномиальным», поскольку C_n^kp^kq ^n-k можно рассматривать как общий член разложения бинома Ньютона: (p+q)ⁿ= C_nⁿpⁿ + C_n^n-1p^n-1q + … + C_n^kp^kq ^n-k + … + C_n⁰q ⁿ. Формально считается, что C_n⁰=1.

[4] Термин «нормальное распределение» принадлежит К. Пирсону. Ранее: гауссовское распределение, распределение Гаусса-Лапласа. – Прим. авт.

[5] Заметим, что в некоторых таблицах приведены значения функции. – Прим. авт.

[6] Сходимость по вероятности. – Прим. авт.

[7] Номер элемента – это его место в вариационном ряду. – Прим. авт.

[8] Определенный таким образом коэффициент корреляции носит имя Пирсона. Для некоторых типов случайных величин используются другие коэффициенты корреляции, например, коэффициенты ранговой корреляции Спирмена или Кендалла. – Прим. авт.

[9] В социологии такие таблицы называют таблицами сопряженности признаков.

[10] При вычислении можно использовать Excel. – Прим. авт.