Постановка задачи. Пусть имеется некоторая система состояния, которой известны и изменяются во времени под действием некоторых случайных процессов

Пусть имеется некоторая система состояния, которой известны и изменяются во времени под действием некоторых случайных процессов. Предположим, что известны вероятности перехода системы из данного состояния во все остальные. Требуется ответить хотя бы на некоторые вопросы:

в каком состоянии система пребывает наиболее часто;

с какой вероятностью система может находиться в том или ином состоянии в некоторый момент времени.

Пример. Траектория движения самолета.

Состояние – это нахождение самолета в той или иной точке пространства, в зависимости от погоды и управления.

Процесс такого типа называется марковским, если вероятность перехода в практическое состояние в некоторый момент времени зависит лишь от того, в каком состоянии находится система в данный момент, и зависит от того, как система пришла в это состояние.

Марковский процесс называется цепью, если состояние дискретно. Их может быть и бесконечное число и конечное.

Марковская цепь называется стационарной, если различные моменты времени .

В этом случае марковская цепь характеризуется матрицей перехода

, , .

Предположим, что марковская цепь с конечным числом состояний всегда однозначно характеризуется этой матрицей. Иногда марковская цепь может характеризоваться и графиком состояний, узлами которой служат возможные состояния системы, а дуги вместе с числовыми показателями характеризуют переход из одного состояния времени некоторую вероятность.

Матрица переходов имеет вид

Переход системы из одного состояние в другое осуществляется в некоторые дискретные моменты времени

18. Основные характеристики марковских цепей.

Обозначим , – вероятность того, что в -ый момент перехода система находится в состоянии

Пусть начальное состояние объекта, т.е. в начальный момент система находится .

Поставим задачу для -ого момента переключения – вектор, который описывает вероятности, что система находится в том или ином состоянии в моменте переключается. Из определенной матрицы получаем

(1)

Определение. Марковская цепь называется эргодической, если из любого состояния , система может перейти в любое состояние , через конечное число переходов с не нулевой вероятностью , где – вероятность перехода из , , за переходов.

Для эргодической системы существует

,

Т.е. существует предел, который не зависит от – начальное распределение вероятности.

можно характеризовать как среднюю долю времени нахождения системы в состоянии за некоторый промежуток времени, если , а промежуток времени месяцев, то для системы это означает, что она находится в состоянии полгода.

Цель: рассчитать предельные вероятности

Для этого используем формулу (1).

(2)

Перейдем к пределу при , получаем

(3)

где

(4)

Представляет собой систему однородных линейных уравнений относительно неизвестных . Из свойств матрицы (сумма элементов каждой строки равна 1) вытекает, что следующая система (4) имеет бесконечное число решений .

Поэтому система (4)

(5)

Система (5) позволяет рассчитать предельные вероятности.