Цепи Маркова

Пусть некоторая система в каждый момент времени находится в одном из k состояний: . В отдельные моменты времени система из состояния переходит в состояние (в частности, система может перейти из в ). Переходной вероятностью называют вероятность того, что система из состояния в результате следующего испытания перейдет в состояние . Матрицей перехода системы называют матрицу, которая содержит все переходные вероятности этой системы:

,

где .

Справедливо равенство

,

где – матрица перехода системы через п шагов.

Пример 1. Пусть система состоит из трех возможных состояний с матрицей перехода

.

Построить граф, соответствующий матрице .

Решение. Изобразим возможные состояния системы кружочками, а возможные переходы из состояния в состояние – стрелками (ориентированными дугами), соединяющими состояния. Числа над дугами соответствуют заданным вероятностям. Тогда граф системы представлен на рисунке 34.

1 1/2 1/2 1/3

А ₁ А ₂ А ₃

2/3

Рисунок 34

Пример 2. Некоторая совокупность рабочих семей поделена на три группы:

а) семьи, не имеющие автомашины и не намеревающиеся ее приобрести; б) семьи, не имеющие автомашины, но собирающиеся ее приобрести;

в) семьи, имеющие автомашину.

Статистические обследования дали возможность оценить вероятности перехода семей из одной группы в другую на протяжении года. При этом матрица перехода оказалась такой:

.

Найти:

1) вероятность, что семья, не имеющая автомашины и не намеревающаяся ее приобрести, через 1 год приобретет машину;

2) матрицу перехода через 2 года;

3) вероятность, что семья, не имеющая машины и не собирающаяся ее приобрести, будет находиться в той же ситуации через 2 года;

4) вероятность, что семья, не имеющая машины, но собирающаяся ее приобрести, через 2 года приобретет машину.

Решение.

1) Искомая вероятность представляет собой элемент матрицы , который равен 0,3.

2) Найдем матрицу перехода через 2 года по формуле .

3) Вероятность, что семья, не имеющая машины и не собирающаяся ее приобрести, будет находиться в той же ситуации через 2 года, есть элемент матрицы , который равен 0,64.

4) Вероятность, что семья, не имеющая машины, но собирающаяся ее приобрести, через 2 года приобретет машину, есть элемент матрицы , который равен 0,15.