Методы многомерной оптимизации

Задачи оптимизации, в которых целевая функция зависит от многих управляющих параметров, называются многомерными оптимизационными задачами. Многомерное пространство качественно отличается от одномерного. Прежде всего, с увеличением числа параметров уменьшается вероятность унимодальности целевой функции. Объем вычислений, необходимых для сужения интервала неопределенности в многомерном пространстве, является степенной функцией, показатель которой равен размерности пространства.

Методы оптимизации в многомерном пространстве делятся на две группы – прямые и косвенные.

1. Прямые методы (методы поиска, часто называемые также методами нулевого порядка), основанные на вычислении только значений целевой функции .

2. Косвенные методы:

а) градиентные методы (методы первого порядка), в которых используются точные значения первых производных целевой функции;

б) методы второго порядка, в которых используются вторые производные.