Метод случайного поиска. В этом методе на -ой итерации по известному приближению в качестве выбирается некоторый случайный вектор единичной длины

В этом методе на -ой итерации по известному приближению в качестве выбирается некоторый случайный вектор единичной длины, . При этом используются механизмы теории вероятности (датчик случайных чисел). После того, как направление выбрано, проверяется, является ли оно подходящим. Если выполняется , для некоторого малого, то выбирается в качестве направлений итерации и осуществляется итерация, шаг выбирают по 3-ему способу. Если , то шаг изменяется на противоположный либо выбирается по-новому.

Замечание. Не всегда противоположное направление оказывается подходящим. (Если в качестве случайного направления выбрано касательное, то и противоположное не будет подходящим.)

Один из самых популярных методов 1-го порядка, который по сходимости близок к методу 2-го порядка – метод сопряжённого градиента.

При выборе метода для решения конкретной задачи надо учитывать всю информацию, тип целевой функции, её гладкость, форму поверхности уровня, кривизну и так далее.

Общая рекомендация: первые итерации лучше проводить грубыми методами (метод поиска), затем переходить к методу 1-го порядка, а затем в малых окрестностях решения можно использовать метод Ньютона (так как там обычно выполняется неравенство (12)).