Управляемые цепи Маркова

При анализе марковских цепей часто к рассмотрению вероятность пребывания системы в различных состояниях в различные периоды времени добавляют информацию, касающуюся вознаграждения (или наоборот, затрат, расходов), которые могут быть получены при переходах. В этом случае речь идет об управляемых марковских процессах.

Под управляемыми Марковскими процессами понимают такие процессы, у которых имеется возможность до определенной степени управлять значениями переходных вероятностей и влиять, таким образом, на возможные получаемые доходы. В качестве примеров таких процессов можно привести любые торговые операции, у которых вероятность сбыта и получения эффекта может зависеть от рекламы, мероприятий по улучшению качества, выбора покупателя или рынка сбыта и т.д.

Формально, управляемой цепью Маркова (УЦМ) называется случайный процесс, обладающий марковским свойством и включающий в качестве элементов математической модели конструкцию (кортеж) < Ki, , >.Решение, принимаемое в каждый конкретный момент (шаг процесса) назовем частным управлением.

Таким образом, процесс функционирования системы описываемой УЦМ, выглядит следующим образом:

-если система находится в состоянии i ϵ S и принимается решение k ϵ Кi,то она получает доход ;

-состояние системы в последующий момент времени (шаг) определяется вероятность , то есть вероятность того, что система из состояния i ϵ S перейдет в состояние j ϵ S, если выбрано решение Ki.

Очевидно, общий доход за n-шагов является случайной величиной, зависящей от начального состояния системы и качества принимаемых в течение хода процесса принятия решений, причем это качество оценивается величиной среднего суммарного дохода (при конечном времени) или среднего дохода за единицу времени (при бесконечном времени). В этих двух случаях для нахождения оптимальных решений обычно сводится в первом случае к решению задач динамического стохастического программирования - рекуррентный алгоритм нахождения оптимального решения, а во втором к решению задач линейного программирования - итерационный алгоритм.