Контексты ньютоновских методов с регулировкой шага

Здесь и далее , - градиент, и гессиан, вычисленные на итерации в точке процесса безусловной минимизации гладкой функции . В приведённых обозначениях принципы построения большинства ньютоновских методов с регулировкой шага озвучим так. На каждой итерации сначала строится некоторая, связанная с исходной матрицей вторых производных , положительно определённая матрица , а затем направление спуска вычисляется как решение системы . Поскольку положительная определённость гарантирована, то вектор наверняка будет направлением спуска. При этом процедуру построения организуют так, чтобы совпадала с матрицей , если последняя сама является положительно определённой. Это означает, что на каждой итерации каким-то образом выясняется, все ли собственные числа положительны, причем выяснение определенности и построение осуществляется параллельно в рамках одной процедуры на основе некоторых матричных разложений, которые позволяют выявить знаки собственных чисел и приспособиться для генерации . Формула не применима, когда - седловая точка, так как в ней градиент равен нулю, и соответственно решение системы тоже будет нулевым. Здесь в качестве надо взять какое-нибудь направление отрицательной кривизны – вектор, удовлетворяющий неравенству . В седловой точке, где матрица не является знакоопределённой, такие векторы существуют, и при движении вдоль любого из них будет убывать. Важно, чтобы алгоритм его построения по возможности использовал информацию, полученную в процессе построения матрицы . Фактически к нему надо обращаться, как только текущая точка попадает в малую окрестность седловой точки, например, когда норма станет меньше заданного допуска .