Метод наискорейшего (градиентного) спуска

Пусть . Система эквивалентна одному уравнению (2): .

Допустим дважды дифференцируема в окрестности решения . Задавшись начальным приближением , находим минимум функции одной переменной l. Находим минимальный неотрицательный корень l=l₀ уравнения

. Полагаем .

Рекуррентная схема: .

– минимальный неотрицательный корень уравнения:

.

Сходимость, вообще говоря, не гарантируется, т.к. можно попасть в точку относительного минимума: