Дискретные цепи Маркова с непрерывным временем

Рассматривают также Марковские цепи с дискретными состояниями и непрерывным временем. В этом случае блуждание системы по своим состояниям описывается матрицей интенсивностей переходов системы из состояния в состояние, а уравнения Колмогорова-Чепмена для определения Pj(k) преобразуются в дифференциальные уравнения относительно производных p'j(t)

.

При нормирующем условии,

И начальных условиях:

Pi(0 )= l;pj(0)=0, j=2,3 n.

По определению интенсивность перехода (параметр экспонен­циального закона распределения) имеет размерность 1/t, где t - сред­нее время перехода элемента системы из состояния в состояние.

То есть технически, марковскую модель с непрерывным време­нем построить проще, чем модель с дискретным временем, хотя про­блема подчинения пуассоновскому закону распределения всех пото­ков событий, переводящих элементы системы из состояния в состоя­ние, остается. Кроме того, марковские процессы с непрерывным временем позволяют оперировать не только с вероятностями пребы­вания системы в своих состояниях, но и непосредственно с самими элементами (элементами, параметрами) системы. Для этого может быть использован метод динамики средних, элементов, одинаково блуждающим по своим состояниям (например, скважины на нефтегазовом месторождении).

Метод динамики моментов, позволяет описывать функционирование, а, следовательно, и прогнозирование поведения различных технических, организационных и других систем с помощью систем дифференциальных уравнений, аналогичных уравнениям Колмогорова, но записанных, не как обычно, относительно вероятностей пребывания элементов системы в своих состояниях, а относительно средних численностей состояний элементов, а также их дисперсий и корреляционных моментов (для метода динамики моментов).

Метод разработан в предположении, что все потоки событий, переводящие отдельные элементы из состояния в состояние - пуассоновские, тогда динамика поведения элемента, а, следовательно, и всей системы в целом, описывается марковским случайным процессом.

Обычно метод динамики средних применяется там, где система имеет большое количество однородных элементов и состояний. При этом под однородностью элементов понимается, прежде всего, их идентичность относительно интенсивностей переходов из состояния в состояние и идентичность самих этих состояний. В связи с чем, граф состояний системы полностью описывается графом состояния одного элемента.

Система дифференциальных уравнений динамики средних для определения средних численностей состояний элементов Mj[t], в общем виде записывается следующим образом:

при нормирующем условии,

и начальных условиях:

Mi(0)=N; Mj(0)=0, j=2,3,……n.

В этом случае дисперсия D/t) определяется следующим образом:

Dj(t) = Mj(t)(1-(Mj(t)/N)). Выражения для корреляционных функций получено только для случайных процессов типа гибели размножения.

Марковская цепь обладает еще одним свойством. Она может иметь стационарный режим. Стационарность режима работы цепи Маркова состоит в том, что вероятности пребывания системы в каком-либо состоянии перестают зависеть от номера шага (времени), на котором рассматривается эта цепь, то есть Pj=const (а часто и средние численности состояний в методе динамики средних). В этом случае уравнения Колмогорова-Чепмена преобразуются в систему линейных алгебраических уравнений.