Теоретические сведения. Задача определения минимума функционала градиентным методом эквивалентна задаче нахождения решения системы нелинейных уравнений

Задача определения минимума функционала градиентным методом эквивалентна задаче нахождения решения системы нелинейных уравнений. Рассмотрим двумерный случай. Пусть система уравнений имеет вид:

(14)

Введем новую функцию вида:

Ф(x,y) = f ²(x,y) + g²(x,y).

Т. к. функция Ф(x,y) неотрицательна, то найдется точка (x^*,y^*) такая, что:

Ф(x,y) ³ Ф(x^*,y^*) ³ " (x,y)ÎR₂.

Ели удаётся определить точку (x^*,y^*), минимизирующую функцию Ф(x,y), и если minФ(x,y) = Ф(x^*,y^*), значит (x^*,y^*) – искомое решение системы (14).

Итерационная последовательность будет иметь следующий вид:

, (15)

где t = 0, 1, 2, 3, …;

– вектор, определяющий направление минимизации;

a_t – скаляр (шаговый множитель), характеризующий длину шага.

Вектор минимизации выбирается как антиградиент функции Ф(x,y):

. (16)

Длина шага может быть постоянной на каждом итерационном шаге либо для каждого шага рассчитываться по формуле:

a_t = arg minФ(x^(t)-aФ¢_x(x^(t),y^(t)), y^(t)-aФ¢_y(x^(t),y^(t))). (17)

При минимизации функции Ф(x,y) следует определиться:

– как выбирать направление спуска;

– как регулировать длину шага в выбранном направлении с помощью скалярного параметра.

Если подобрать множитель a так, что Ф(X_k+ap_k,Y_k+aq_k) < Ф(X_k,Y_k),

где X_k+1=X_k+ap_k, Y_k+1=Y_k+aq_k, это будет означать переход на каждой итерации в точку с меньшим значением минимизирующей функции.