Метод случайного поиска

Опыт использования численных методов показывает, что определение градиента функции связано со значительными трудностями. Поэтому в последние годы интенсивно внедряются в практику методы случайного поиска, которые свободны от указанного недостатка. В методах случайного поиска направление шага, а иногда и величина шага, определяются случайным образом.

Этот метод является прямым развитием известного метода проб и ошибок, когда решение ищется случайно, и при удаче принимается, а при неудаче отвергается с тем, чтобы немедленно снова обратиться к случайности как к источнику возможного. Такое «случайное» поведение разумно опирается на уверенность, что случайность содержит в себе все возможности, в том числе и искомое решение. Итерационный алгоритм поиска оптимальных параметров представим в виде.

.

Различные методы случайного поиска отличаются способами определения приращения .