Поисковая оптимизация

Большинство методов предназначено для поиска локальных экстремумов без учета ограничений. Поэтому важное значение приобретает выбор начальной точки поиска

Локальные методы безусловной оптимизации делятся на:

1) Методы нулевого порядка, в них не используется информация ЦФ. (Методы одномерного поиска: деления отрезка пополам; Методы многомерного поиска- покоординатного спуска; случайного поиска)

2) Методы первого порядка (Градиентный), используется значение ЦФ и первых частных производных по параметрам (методы градиента; наискорейшего спуска и т.д.)

3) Методы второго порядка, используют значение ЦФ и первых и вторых частных производных (Метод Ньютона)