Метод покоординатного спуску

Обираємо початкове наближення . Зафіксуємо і знайдемо min функції однієї змінної . Нехай він досягається при . Вздовж прямої, яка паралельна осі , здійснюємо спуск в точку . Фіксуємо та знаходимо min однієї змінної . Нехай це буде . З точки рухаємось по прямій, яка паралельна осі , до точки . Потім знову здійснюємо спуск з точки вздовж прямої, яка паралельна осі , і так далі.

Відомі деякі модифікації методу покоординатного спуску (ПКС):

1. ПКС з постійним кроком: у цьому випадку не потрібно на кожному кроці знаходити мінімум функції однієї змінної, а спуск в напрямку координатних осей здійснюється в сторону спадання функції з постійним кроком h. Як тільки функція цілі перестає спадати, спуск припиняється.

2. ПКС з оптимізацією кроку.