Градієнті методи

Градієнтні методи можна застосовувати до будь-якої задачі нелінійного програмування. Але вони приводять лише до локального екстремуму і тому виявляються більш ефективними при розв’язанні задач опуклого програмування, де усякий локальний екстремум одночасно є і глобальним.

Якщо функція диференційована в точці , то градієнтом функції в точці називається n-мірний вектор, який складається з частинних похідних по кожній змінній:

Градієнт в кожній точці , в який він існує, спрямован по нормалі до лінії рівня поверхні і вказує напрямок найшвидшого зростання функції в даній точці мал.3.

Для опуклої функції необхідно і достатньою умовою оптимальності точки є рівність нулю градієнта функції в цій точці, тобто .