Предельные вероятности состояний для однородной цепи Маркова

Для однородной цепи Маркова можно поставить задачу 2 – вопрос о существовании установившегося режима (предельных вероятностей состояний):

.

Предельные вероятности заведомо существуют, если есть состояние, из которого система не может выйти. Ясно, что с течением времени система заведомо окажется в этом состоянии. Если подобных состояний несколько, система окажется в одном из них.

А.А. Марков доказал, что для существования предельных вероятностей достаточно, чтобы все элементы матрицы перехода были отличны от нуля.

Для нахождения предельных вероятностей перейдем в формуле (4) к пределу при . Получим систему п линейных уравнений:

(5)

Система (5) имеет бесконечное множество решений, так как при суммировании всех уравнений в силу свойства матрицы перехода получим тождество: .

Поэтому к системе в силу (2) добавляется условие нормировки:

(6)

При составлении системы (5) удобно пользоваться понятием потока вероятности.

Определение 5. Потоком вероятности из состояния в состояние называется произведение .

Систему уравнений (4) удобно составлять, пользуясь следующим правилом: для каждого состояния сумма потоков предельных вероятностей, входящих в данное состояние, равна предельной вероятности состояния.

Составим, например, систему уравнений для предельных вероятностей в условиях матрицы перехода (3):

Отбросим, например, третье уравнение (как следствие остальных) и найдем предельные вероятности, решив полученную систему трех уравнений с тремя неизвестными. Ответ: .