Метод наименьших квадратов и уравнение регрессии

Пусть дана система линейных уравнений с неизвестными:

которую можно записать в матричном виде как

С .

При система имеет, как правило, единственное решение, так как в типичном случае Если же то решение, как правило, не существует. В этом случае находят набор значений неизвестных х₁,…,х_n, сумму квадратов разностей левых и правых частей уравнений:

и говорят о решении по методу наименьших квадратов.

Для решения исходной системы по методу наименьших квадратов достаточно решить квадратную систему

где - матрица, полученная из матрицы С транспонированием.

Метод наименьших квадратов является основным средством получения аналитических соотношений между получаемыми из опыта величинами, когда вид зависимости (линейная, квадратическая и т.д.) задан.

Пусть, например, приведено 4 опыта, в результате которых были получены 4 пары величин Х и Y: (0;0), (1;0), (2;1), (3;1). Мы хотим записать зависимость Y от Х в виде Y=аХ+b, т.е. получить, как говорят, уравнение линейной регрессии Y на Х. Неизвестными в данном случае являются коэффициенты а и b и мы должны решить по методу наименьших квадратов систему

которая в матричном виде запишется как

Имеем:

С = ,

и мы получаем систему:

.

Правило Крамера даёт:

Исходные точки и уравнение регрессии представлены на рисунке

Если бы мы искали уравнение квадратичной регрессии Y на Х, т.е. зависимость вида , то следовало бы решить по методу наименьших квадратов систему

,

,

и задача свелась, таким образом, к решению системы

которая решается обычными методами.