Метод градиентного спуска

Строгий аналитический метод не всегда приводит к цели (случай, когда в критической точке). В подобных, и в более сложных случаях применяют различные приближённые аналитические методы, которые в математическом смысле иногда менее строго обоснованы, но, тем не менее, порой приводят к желаемому результату. К таким методам относятся и градиентные методы наискорейшего спуска.

Пусть, нам нужно найти . Рассмотрим некоторую точку

и вычислим в этой точке градиент функции :

,

где - ортонормированный базис в пространстве .

Если , то полагаем:

,

где , а выбирается из условия сходимости итерационного процесса:

,

где , а выбирается из условия сходимости.

Формулу можно расписать в виде:

…………………………………………………………………

Здесь m – число итераций. Процесс итерации останавливается, когда достигается требуемая предельная погрешность, т.е. когда выполнены условия остановки итерации:

.

Данный метод хорош лишь в том случае, когда имеется некое первое оптимальное приближение, в противном случае результат может быть совсем иной, не удовлетворяющий критериям. Поэтому в данной работе мы используем его в комплексе с методом «Монте-Карло», в дальнейшем, получив начальное приближение, уточним его до некоторой погрешности градиентным методом наискорейшего спуска.