Марковские процессы

В зависимости от того, непрерывное или дискретное множество есть область значений процесса и область определения параметра времени , различают четыре основных вида марковских процессов:

- марковские цепи (марковский процесс, у которого область значений (значения процесса) и область определения (время) – дискретные множества);

- марковская последовательность (марковский процесс, у которого область значений (значения процесса) – непрерывное множество, а область определения (время) – дискретное множество);

- дискретный марковский процесс (марковский процесс, у которого область определения (время) – непрерывное множество, а область значений (значения процесса) – дискретное множество);

- непрерывнозначный марковский процесс (марковский процесс, у которого область значений и область определения – непрерывные множества).

Характер временных реализаций перечисленных процессов показан на рис.5.17.

Случайный процесс является марковским, если для любых моментов времени условная функция распределения «последнего» значения при фиксированных значениях , , …, зависит только от .

Важным, определяющим специфику марковости, является свойство условной плотности вероятностей

,

где - переходная плотность вероятности из состояния в состояние .

Для марковских процессов справедлива теорема о факторизации, в соответствии с которой вероятность состояния в момент связана с вероятностью первоначального состояния соотношением

.

Так в соседних сечениях и процесса вероятности состояния связаны следующим образом

.

То есть значения марковского процесса образуют своеобразную цепь, в которой очередное звено определяет состояние последующего или же соответственно: его состояние зависит только от состояния предыдущего.

Для стационарных процессов

.

Приведенные свойства отображают важнейшую специфику и отличие случайных процессов, а именно: свойство динамики, поскольку позволяет описывать (моделировать) изменение свойств системы во времени, что невозможно описать с помощью эргодических процессов или случайных величин. Вместе с тем, марковские процессы не обладают достаточной гладкостью (рис.5.18), и в общем случае имеет произвольный закон распределения.

Часто используется центрированный марковский процесс, для которого плотность распределения вероятности носит гауссовский характер

,

- дисперсия процесса.

Такой сигнал называют гауссовским марковским процессом (рис.5.19).

Уравнение корреляционной функции для центрированного гауссовско-марковского процесса имеет вид (рис.5.20 а)

.

где , - интервал корреляции.

Корреляционной функции соответствует спектральная плотность мощности (рис.5.20 б)

.