Классификация марковских цепей по асимптотическим свойствам

10.1. Пусть - марковская цепь. Обозначим - марковский момент первого попадания в состояние после момента времени , т. е. . Обозначим

Очевидно, что при это переходная вероятность за один шаг из состояния в .

Обозначим .

Предложение 44.

Доказательство. Пусть - момент первого попадания в состояние . Из этого определения следует, что . Очевидно, что , так как

Заметим, что , поэтому в силу строго марковского свойства, имеем

Доказательство закончено.

10.2. Обозначим - вероятность того, что за бесконечное число шагов однородная марковская последовательность попадет из состояния в .

Определение. Состояние называется возвратным, если . Если , то состояние называется невозвратным.

Определение. называется средним временем до возвращения в состояние . Говорят, что состояние положительно, если . Состояние называется нулевым, если .

Теорема 45 (критерий возвратности). 1) Пусть имеется однородная марковская цепь (ОМЦ). Состояние возвратно тогда и только тогда, когда .

2) Если - возвратное состояние и сообщается с , то - возвратное состояние.

Доказательство. 1) Так как , то

Значит

.

Отсюда следует, что тогда и только тогда, когда

Утверждение ii) очевидным образом следует из i).

Следствие 46. Если ряд сходится, то состояние - невозвратное.