Метод градиента

В оптимизации применение градиента обусловлено его важнейшим свойством: направление градиента совпадает с направление скорейшего возрастания целевой функции. Поэтому в стартовой точке поиска рассчитываются частные производные целевой функции, которые являются составляющими вектора градиента и находится направление градиента.

Из найденной(стартовой) точки в направлении градиента осуществляется шаг, при котором изменяются обе переменные, каждая из них получает приращение, пропорциональное соответствующей частной производной.

Два алгоритма могут быть использованы при поиске экстремума:

В данном алгоритме используется нормализованный вектор градиента, который не учитывает скорость возрастания целевой функции. Поэтому для повышения эффективности поиска может быть предложен следующий алгоритм изменения шага h_k:

α^(k) – угол поворота градиента при переходе в следующее состояние. Этот угол может быть определен по следующему правилу: