Производная по направлению и градиент

Рассмотрим задачу нелинейного программирования, которую можно сформулировать так: найти переменные удовлетворяющие системе уравнений

(6.6)

и обращающие в максимум (или минимум) целевую функцию

(6.7)

при условии, что функции и являются выпуклыми.

Такие задачи в принципе можно решать классическими методами дифференциального исчисления. Однако на этом пути встречаются такие вычислительные сложности, которые делают необходимым поиск других методов решения. К таким методам относятся и градиентные методы, которые рассматриваются в этой работе.

Введем необходимые понятия.

Производной функции по направлению l в точке X называется предел

Направление l обычно задается вектором

Если функция F дифференцируема в точке X, то она имеет в этой точке производную по любому направлению l, которая выражается через частные производные по формуле

(6.8)

где - длина вектора l, т.е.

Абсолютная величина производной по направлению дает скорость изменения функции в этом направлении, а знак показывает характер изменения функции (возрастание или убывание).

Градиентом функции называется вектор, проекциями которого на координатные оси служат соответствующие частные производные, т.е.

Можно показать, что достигается тогда, когда

направление l совпадает с направлением.

По формуле (6.8) производная функции F по направлению градиента равна

Таким образом, в каждой точке X направление градиента является направлением наибольшего возрастания функции, а длина градиента равна наибольшей скорости возрастания функции в этой точке.