Расчет параметров модели по методу наименьших квадратов (МНК)

Наибольшее распространение при решении задач оценивания параметров экспериментально-статистических моделей получил МНК (Гаусс, 1809г.).

В рамках МНК а ищется из условия минимизации функции:

(4.7)

Для моделей общего вида (4.3) МНК не имеет преимуществ перед другими методами типа (4.6). Вместе с тем, огромная популярность МНК определяется простотой нахождения оценок для весьма широкого класса моделей линейных по параметрам

, (4.8)

где

Для таких моделей приходим к задаче нахождения

(4.9)

Её решение получается из условий .

Чтобы записать решение в компактном виде, введём обозначения:

– вектор измерений выходной переменной у;

– матрица измерений входных переменных.

Тогда задача (4.9) запишется в виде

(4.10)

Из условия минимума можно получить систему уравнений

– т.н. информационная матрица Фишера), (4.11) решением которой находится вектор МНК – оценок параметров а.

(4.12)

Т.о. по МНК параметры модели (4.8) определяются путём решения системы алгебраических уравнений

(4.13)

где ,

причём

,

(4.14)

4.3. Линейные и квадратичные по входам МНК – модели

y

x

x

y

Рис. 4.1

В большинстве расчётных задач, связанных с анализом или оптимизацией систем, переменные изменяются в относительно узком диапазоне. При этом монотонные зависимости хорошо аппроксимируются линейными функциями, а экстремальные – квадратичными функциями входов.

Отсюда следует особая роль линейных

(одномерная модель) (4.15)

( многомерная модель) (4.16)

и квадратичных моделей.

(одномерная модель) (4.17)

(многомерная модель). (4.18)

Все они представляют собой частный случай линейной по параметрам модели (4.8). Например, полагая

получим для определения коэффициентов линейной по х многомерной модели (4.16) систему уравнений

где (4.19)

(4.20)

Для одномерного варианта линейной модели (4.15) несложно получить конечные соотношения для расчёта коэффициентов модели и .

В этом случае

(4.21)

Вводя обозначения

запишем систему уравнений (4.21) в виде

(4.22)

Отсюда получим оценку параметра

(4.23)

где дополнительно введены обозначения для выборочного коэффициента корреляции , нормированного выборочного коэффициента корреляции , а также выборочных дисперсий

Оценку коэффициента находим непосредственно из первого уравнения системы (4.22)

(4.24)

Заметим, что определитель системы (4.22)

(4.25)

если среди значений есть различные. В этом случае система имеет единственное решение.