Марковские процессы с непрерывным временем

Пусть система может находиться в одном из состояний и в случайные моменты времени t переходит из состояния в состояние . Тогда в системе протекает марковский процесс с непрерывным временем.

Обозначим через вероятность того, что в момент времени система находится в состоянии . Вероятности называют вероятностями состояний.

Марковский процесс считается описанным, если определены вероятности состояний, т.е. все вероятностных функций времени

.

Так как в любой момент времени система будет находиться только в одном из состояний, то имеет место условие нормировки для любого .

Вместо переходных вероятностей в процессе с непрерывным временем рассматривают иные характеристики процесса – так называемые плотности вероятностей перехода из состояния в состояние в момент времени t, которые определяют следующим образом.

Обозначим через , – вероятность того, что система , находившаяся в момент времени t в состоянии за промежуток времени , (т.е. за время ) перейдет в состояние . Полагаем (для удобства записи) .

Определение 6. Плотностью вероятности перехода системы из состояния в состояние в момент времени t называется величина

.

Из последнего равенства следует, .

Из определения плотности вероятностей переходов следует, что они в общем случае зависят от времени, неотрицательны и могут быть больше 1, причем .

Если при любых , плотности вероятностей переходов не зависят от времени, т.е. , то марковский процесс называется однородным.

Рассмотрим однородный марковский процесс с непрерывным временем. Граф состояний такого процесса, у стрелок которого проставлены плотности вероятностей переходов, называется размеченным графом состояний. Отсутствие стрелки из одного состояния в другое означает, что плотность вероятности соответствующего перехода равна нулю.

Зная плотности вероятностей переходов , которые удобно задавать матрицей

,

где , можно определить вероятности состояний как функции времени, из следующей системы дифференциальных уравнений:

.

Эту систему называют системой дифференциальных уравнений Колмогорова [5].

Введем обозначения

,

,

тогда систему дифференциальных уравнений Колмогорова можно записать в виде

.