Метод наискорейшего спуска

Это разновидность метода градиента, обеспечивающая наименьшее число шагов в определении оптимума. Суть его сводится к следующему. После определения градиента функции f (x) делаем шаг в направлении, обратном градиенту. Если значение целевой функции при этом уменьшилось по сравнению с исходным, то делаем очередной шаг в том же направлении, а не определяем заново градиент, как при методе градиента. Если же после очередного шага значение целевой функции увеличилось по сравнению с предыдущим значением, то движение прекращаем, заново определяется направление градиента и т. д. Повышенная скорость сходимости является существенным преимуществом этого метода.

При использовании метода наискорейшего спуска на каждой итерации величина шага выбирается из условия минимума функции f (x) в направлении спуска:

. (3.38)

Это условие означает, что движение в направлении антиградиента происходит до тех пор, пока значение функции f (x) убывает. С математической точки зрения на каждом шаге итерации необходимо решать задачу одномерной минимизации по функции . Для решения используется любой метод одномерной оптимизации, наиболее часто используется метод сканирования.