Глава 3. Метод наименьших квадратов

Очевидно, система линейных уравнений не всегда имеет непустое множество решений. В связи с этим (и не только) возникает вопрос о существовании такого вектора , при котором левая часть минимально отличалась бы от правой части .

Определение. Пусть даны матрица А размера , вектор-столбец и вектор-столбец . Тогда вектор называется ошибкой вектора и обозначается через Квадрат длины вектора будем называть модулем ошибки вектора .

Теорема 3.1. Пусть дана матрица А размерности с линейно независимыми столбцами и вектор- столбец . Тогда найдется единственный вектор-столбец , для которого модуль ошибки минимален, причем .

Доказательство. Предположим, что матрица вырождена. Тогда в силу следствия 1.3 однородная система линейных уравнений имеет некоторое ненулевое решение т.е. . Домножим обе части этого равенства слева на , получим теперь воспользуемся теоремой 1.12, замечанием 1.1 и задачей и теоремой 1.14:

,

т.е. (см. задачу 1 в п. 1.3). А это возможно только в случае линейной зависимости столбцов матрицы (следствие 1.3).

Итак, доказана невырожденность матрицы . Но тогда для найдется обратная матрица (следствие 2.2). Обозначим через вектор . Осталось доказать, что для любого вектора-столбца , не равного , верно неравенство .

Обозначим через . Тогда, применяя теорему 1.12, получаем:

т.е. и ортогональны. Из равенства вытекает, что Используя теорему 1.1 и ортогональность векторов и , получаем:

Поскольку , то может равняться нулю только в случае линейной зависимости столбцов матрицы А. Так как столбцы этой матрицы линейно независимы, то . Отсюда следует последнее неравенство. Теорема доказана.