Расчет коэффициентов множественной регрессии по МНК в матричной форме

В матричной форме модель примет вид:

Y = XB + e. (3.11)

Оценкой этой модели по выборочным данным является уравнение (эмпирическая модель)

. (3.12)

Предпосылки МНК (см. раздел 2.4.1.) в матричной форме можно записать следующим образом:

1. M (e) = 0; 2. D (e) = σ² I; 3. Матрица ковариаций V (e) = M (e · e ^T) = σ² E,

где e = – вектор-столбец случайных отклонений (ошибок);

I = – (n · 1) вектор;

E = E_n×n = – единичная матрица;

– матрица ковариаций или ковариационная матрица вектора случайных отклонений, которая является многомерным аналогом дисперсии одной переменной и в которой, если предпосылка о некоррелированности отклонений e _i и e _j выполняется, все элементы, не лежащие на главной диагонали, равны нулю, а элементы главной диагонали равны одной и той же дисперсии D (e _i) = σ²; 4. e – нормально распределенный случайный вектор, т. е. e ~ N (0, σ²Е); 5. r (X) = m + 1 > n – детерминированная матрица объясняющих переменных (регрессоров) имеет ранг r, равный числу определяемых параметров модели m + 1, кроме того, число имеющихся наблюдений каждой из объясняющих переменных и зависимой переменной превосходит ранг матрицы Х.

Выполнение пятой предпосылки означает линейную независимость объясняющих переменных (линейную независимость столбцов матрицы Х), т. е. отсутствие функциональной мультиколлинеарности.

Наша задача заключается в нахождении вектора оценок по МНК, который, при выполнении предпосылок 1–5, обладает наименьшим рассеянием относительно параметра B.

Воспользовавшись известными соотношениями матричной алгебры и правилами дифференцирования по векторному аргументу, получим необходимое условие минимума функции G (равенство нулю вектор-столбца частных производных )

(3.13)

откуда вытекает система нормальных уравнений в матричной форме для определения вектора

(3.14)

где Х^Т – транспонированная матрица.

Решением уравнения (3.14) является вектор оценок:

(3.15)

где (Х^ТХ)^-1 – матрица, обратная Х^ТХ; Х^ТY – вектор-столбец свободных членов системы.

Найдем матрицы, входящие в матричное уравнение (3.14):

. (3.16)

Матрица Х^ТХ образует симметричную матрицу сумм первых степеней, квадратов и попарных произведений n наблюдений объясняющих переменных.

. (3.17)

Матрица Х^ТХ представляет вектор-столбец произведений n наблюдений объясняющих и зависимой переменных.

Зная вектор коэффициентов множественной линейной регрессии (3.15), находим оценку (групповую среднюю) зависимой переменной Y при заданном векторе значений объясняющей (факторной) переменной