Классификация возможных состояний цепи Маркова

Возвра́тноесостоя́ние — это состояние марковской цепи, посещаемое ею бесконечное число раз.

Пусть — однородная цепь Маркова с дискретным временем. Состояние называется достижи́мым из состояния , если существует такое, что

.

Пишут

Периоди́ческоесостоя́ние — это такое состояние цепи Маркова, которое навещается цепью только через промежутки времени, кратные фиксированному числу.