Классификация методов оптимизации

Один из способов классификации методов оптимизации состоит в соотнесении их оптимизационным задачам, для решения которых они предназначены По типу информации о производных, требуемой для организации процесса оптимизации, методы подразделяются на методы - методы нулевого порядка, требующие только вычислений значений функции в точках пространства оптимизации и не требующие аналитического вида производных; - методы первого порядка (градиентные), требующие кроме значений функции в точке еще и аналитическое задание производных первого порядка для вычисления градиента; - методы второго порядка (ньютоновские), для работы которых требуются еще и производные второго порядка Другая классификация: - методы прямого поиска, - методы линейной аппроксимации, - методы квадратичной аппроксимации, По степени математической обоснованности методы делят на эвристические и рациональные. Методы оптимизации подразделяют на детерминированные и стохастические. Стохастические алгоритмы используют элементы случайности при выборе направления или длины шага в процессе оптимизации. Оптимизирует не компьютер и даже не алгоритм, введенный в этот компьютер. Оптимизирует всегда человек. Он и несет ответственность за результат.