Суть метода наименьших квадратов

Рассмотрим суть метода МНК на примере построения аппроксимирующего (регрессионного) уравнения j (x), включающего 2 базисные функции {1, sinx}:

j (x)=a0+a1 j sin(x).

В качестве критерия аппроксимации, т.е. правила, которому удовлетворяет регрессионное уравнение, выбрана среднеквадратическая погрешность:

(1)

где n – число измерений функции y(x), в узлах xi.

Выражение - определяет разницу между исходной (табличной) и результирующей (аппроксимирующей) функциями. Функция, удовлетворяющая критерию (1) является наилучшей в среднеквадратическом смысле, а метод ее нахождения – МНК. Для выполнения условия (1) необходимо, чтобы при полученных параметрах a0, a1 функция невязок S(a0, a1) имела стационарную точку, т.е.

Перепишем критерий (1) с учетом конкретного вида j (x):

.

Найдем частные производные:

Перепишем праве части последних уравнений, вынося за знак суммы неизвестные коэффициенты регрессионного уравнения а0, а1:

Полученные уравнения представляют собой систему линейных алгебраических уравнений относительно неизвестных а0, а1. Запишем систему в матрично- векторном виде:

.

Или

где матрица Ф носит название матрицы Грамма и зависит только от базисных функций, вектор определяется измеренными значениями y(xi) и базисными функциями.

Отсюда вектор искомых коэффициентов регрессионного уравнения: .