Метод динамического программирования

В задаче динамического программирования состояние динамической системы характеризуется n переменными состояния (фазовыми переменными) x₁(t),...,х_n(t), удовлетворяющими следующей системе дифференциальных уравнений первого порядка, называемых уравнениями состояния:

(1)

Здесь u₁,…,u_m - управляющие воздействия. Тогда задача состоит в определении управлений

переводящих систему из состояния в

и минимизирующих критерий-функционал (критерий качества)

(2)

Предположим, что управляющие переменные удовлетворяют ограничению

(3)

определяющим замкнутую область допустимых управлений.

Критерием качества (83) может являться, например, цена объекта, среднеквадратичная ошибка в обработке результатов эксперимента, время достижения цели и т.п.

Для решения задачи управления требуется задать подходящие граничные условия:

(4)

При этом начальное t₀ и конечное t_F времена могут быть неизвестными.

Предположим, что наложенные на управляющие переменные ограничения (3) имеют

вид (5)

Введем также вспомогательные переменные , i=0,1,…,n и функцию Гамильтона (гамильтониан):

(6)

С помощью гамильтониана Н исходная система дифференциальных уравнений (1) и уравнения, необходимые для определения вспомогательных функций , представляются в виде:

(7)

Уравнения (7), являющиеся необходимым условием экстремума функционала (2), называются уравнениями Гамильтона-Эйлера. Таким образом, оптимальное управление

u_opt(t)=(u₁^opt(t),…,u_m^opt(t)) определяет оптимальную траекторию x_opt(t) в n- мерном фазовом пространстве и вдоль нее гамильтониан H удовлетворяет условиям (7).