Марковские случайные процессы

1. Марковские процессы нашли широкое применение в теории управления передачи информации, теории принятия решения, теории надежности.

Выведем на оси времени 3 точки. Случайный процесс называется Марковским, если его значения в точки и зависти от его значения в точки t и не зависит от значения в точке s.

S t u t

Зависимость понимается в вероятностном смысле. Точку t рассматривают как настоящее, точку u как прошлое. Образно говоря, марковские процессы не помнят прошлого. Различают:

1. дискретный марковский процесс;

2. непрерывный марковский процесс.

Дискретную цепь Маркова удобно анализировать, ориентируясь на графого представление. При таком описании выделяют вершины и ребра. Вершинам предается смысл состояний, в котором может пребывать процесс. Поскольку процесс – это абстрактная модель некоторого реального явления. Важным понятие является понятие состояния. Пусть случайный процесс описывает изменение температуры в некотором котле. Поскольку измеряется температура с помощью термометра, то это связано с такими предположениями: два разделяющихся давления разделяются интервалом , т.о. вводя шар квантования , мы переходим из бесконечного. Зафиксировали температуру в котле (это интересует состояние), т.о значение температуры в котле будет состояние, поскольку t температура меняется случайным образом, она будет двигаться медленно. Состояние объекта дискретно, n – число состояний, в котором может находится процесс, число состояний должно быть известно. На графике должно быть представлено состояние. Механизм описания движения процесса во времени может быть равным. Дискретным, детерминированным – это означает, чтог движение осуществляется с периодом . Считают, что =1.

Другой механизм, когда движение осуществляется случайным образом, это означает, что может произойти переход из одного состояния в другое, в любое время. Если используется первый механизм, то говорят о дискретных цепях Маркова, если второй- о непрерывных цепях Маркова.

Вероятн6остное содержание переменной:

1. когда период движения задан. По истечению периода происходит переход t процесса, находящимся в некотором i- м состоянии, в какое-то другое заранее неизвестное состояние. Чтобы описать вероятностные свойства на графе в виде ребер задаются вероятности соответствующего перехода.

Механизм движения. Говорят цепь состоит из состояний и вероятности перехода, что приводит нас к необходимости задания матрицы условных переходов за один шаг. Эту матрицу будем обозначать

Смысл элемента . Условие вероятности того, что процесс, находящийся в i-ом состоянии за один шаг перейдет в j-ое состояние, на графе указаны эти элементы. Матрица и описывает эти явления, особенности движения определяются свойствами матрицы :

1. сумма всех элементов по строке должна равняться 1, это свойство стохастичности матрицы;

2. может меняться и зависть от времени.

не зависит от времени. Такая цепь называется стационарной.