Разновидности алгоритмов параметрической оптимизации, использующие метод наискорейшего спуска

Выбор конкретного алгоритма оптимизации зависит от способа задания рабочего шага . В общем случае рабочий шаг на -ом цикле оптимизации (8.7)

Тогда для выражения (8.7) алгоритм оптимизации можно записать следующим образом:

(8.8)

Алгоритмы типа (8.8) называют релаксационными методами оптимизации, конкретные выражения для которых зависят от свойств матрицы (8.7). Пусть компоненты матрицы будут постоянными и не зависят от номера итерации . .

Тогда одним из способов получения этих компонент будет их вычисление по правилу: (8.9)

Алгоритм оптимизации типа (8.10)

называют алгоритмом Ньютона. Обычно используется выражение (8.10) или его разновидность (8.11)

Если использование алгоритмов (8.10) или (8.11) не обеспечивает требуемой сходимости, то рекомендуется использование модифицированного метода Ньютона, в котором компоненты матрицы выбирают переменными на каждой итерации .

(8.12)

Для вычисления матрицы используется формула .

- единичная матрица

-скалярная величина, зависящая от текущего

Релаксационные алгоритмы параметрической оптимизации обеспечивают получение локального оптимума, зависящего от выражений и . Задача достижения глобального оптимума решается вводом ограничений на вектор непосредственно в критерий качества .