Уравнения Колмогорова. Предельные вероятности состояний

Рассмотрим математическое описание марковского процесса с дискретными состояниями и непрерывным временем на примере случайного процесса из вышеприведенного примера (рис. 7.1). Будем полагать, что все переходы системы из состояния S_i, в S_j происходят под воздействием простейших потоков событий с интенсивностями l_ij(i, j=0, 1, 2, 3); так, переход системы из состояния S₀ в S₁ будет происходить под воздействием потока отказов первого узла, а обратный переход из состояния S₁ в S₀ - под воздействием потока "окончаний ремонтов" первого узла и т.п.

Граф состояний системы с проставленными у стрелок интенсивностями будем называть размеченным. Рассматриваемая система S имеет четыре возможных состояния:S₀, S₁, S₂, S₃.

Вероятностью i-го состояния называется вероятность p_i(t) того, что в момент t система будет находиться в состоянии S_i.

Очевидно, что для любого момента t сумма вероятностей всех состояний равна единице:

(7.1)

Рассмотрим систему в момент t и, задав малый промежуток Dt, найдем вероятность p₀(t+Dt) того, что система в момент t+Dt будет находиться в состоянии S₀. Это достигается разными способами.

1-способ. Система в момент t с вероятностью p₀(t) находилась в состоянии S₀, а за время Dt не вышла из него.

Вывести систему из этого состояния (рис. 7.1) можно суммарным простейшим потоком с интенсивностью (l₀₁+l₀₂)Dt. А вероятность того, что система не выйдет из состояния S₀, равна [1- (l₀₁+l₀₂)Dt ]. Вероятность того, что система будет находиться в состоянии S₀ по первому способу (т.е. того, что находилась в состоянии S₀ и не выйдет из него за время Dt), равна по теореме умножения вероятностей:

2-способ. Система в момент t с вероятностями p₁(t) (или p₂(t)) находилась в состоянии S₁ или S₂ и за время Dt перешла в состояние S₀.

Потоком интенсивностью l₁₀ (или l₂₀ - см. рис. 7.1) система перейдет в состояние S₀ с вероятностью, приближенно равной l₁₀Dt (или l₂₀Dt). Вероятность того, что система будет находиться в состоянии S₀ по этому способу, равна p₁ (t)l₁₀Dt (или p₂ (t)l₂₀Dt).

Применяя теорему сложения вероятностей, получим

p₀(t + Dt) = p₁(t)l₁₀Dt + p₂(t)l₂₀Dt +p₀(t)[1 – (l₀₁+l₀₂)Dt],

откуда

Переходя к пределу при Dt→0 получим в левой части уравнения производную p₀(t) (обозначим ее p¢₀):

Получили дифференциальное уравнение первого порядка, т.е. уравнение, содержащее как саму неизвестную функцию, так и ее производную первого порядка.

Рассуждая аналогично для других состояний системы S, можно получить систему дифференциальных уравнений Колмогорова для вероятностей состояний:

(7.2)

Сформулируем правило составления уравнений Колмогорова. В левой части каждого из них стоит производная вероятности i -го состояния. В правой части - сумма произведений вероятностей всех состояний (из которых идут стрелки в данное состояние) на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность данного (i -го) состояния.

В системе (7.2) независимых уравнений на единицу меньше общего числа уравнений. Поэтому для решения системы необходимо добавить уравнение (7.1).

Уравнения Колмогорова дают возможность найти все вероятности состояний как функции времени. Особый интерес представляют вероятности системы р_i(t) в предельном стационарном режиме, т.е. при t→∞, которые называются предельными (или финальными) вероятностями состояний.

В теории случайных процессов доказывается, что если число состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое состояние, то предельные вероятности существуют.

Предельная вероятность состояния S_i, имеет четкий смысл: она показывает среднее относительное время пребывания системы в этом состоянии. Например, если предельная вероятность состояния S₀, т.е. p₀=0,5, то это означает, что в среднем половину времени система находится в состоянии S₀.

Так как предельные вероятности постоянны, то, заменяя в уравнениях Колмогорова их производные нулевыми значениями, получим систему линейных алгебраических уравнений, описывающих стационарный режим. Для системы S с графом состояний, изображенном на рис. 7.1, такая система уравнений имеет вид:

(7.3)

Систему (7.3) можно составить непосредственно по размеченному графу состояний, если руководствоваться правилом, согласно которому слева в уравнениях стоит предельная вероятность данного состояния р_i, умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния, а справа – сумма произведений интенсивностей всех потоков, входящих в i-e состояние, на вероятности тех состояний, из которых эти потоки исходят.