Градиентные методы. Основная идея методов заключается в том, чтобы идти в направлении наискорейшего спуска, а это направление задаётся антиградиентом :

Основная идея методов заключается в том, чтобы идти в направлении наискорейшего спуска, а это направление задаётся антиградиентом :

где выбирается

§ постоянной, в этом случае метод может расходиться;

§ дробным шагом, то есть длина шага в процессе спуска делится на некое число;

§ наискорейшим спуском: