Оценка параметров модели уравнения множественной регрессии

В реальных ситуациях поведение зависимой переменной невозможно объяснить только с помощью одной зависимой переменной. Лучшее объяснение обычно дают несколько независимых переменных. Регрессионная модель, включающая несколько независимых переменных, называется множественной регрессией. Идея вывода коэффициентов множественной регрессии сходна с парной, но обычное алгебраическое их представление и вывод становятся весьма громоздкими. Для современных вычислительных алгоритмов и наглядного представления действий с уравнением множественной регрессии используется матричная алгебра. Матричная алгебра делает возможным представление операций над матрицами аналогичным операциям над отдельными числами и, тем самым определяет свойства регрессии в ясных и сжатых терминах.

Пусть имеется набор из n наблюдений с зависимой переменной Y, k объясняющими переменными X₁, X₂,..., X_k. Можно записать уравнение множественной регрессии следующим образом:

(3.1)

В терминах массива исходных данных это выглядит так:

= · (3.2).

Коэффициенты b и параметры распределения e неизвестны. Наша задача состоит в получении этих неизвестных. Уравнения, входящие в (3.2), в матричной форме имеют вид:

Y = Xb + e, (3.3)

где Y – вектор вида (y₁,y₂, …,y_n)^t

X – матрица, первый столбец которой составляют n единиц, а последующие k столбцов x_ij, i = 1,n;

b - вектор коэффициентов множественной регрессии;

e - вектор случайной составляющей.

Чтобы продвинуться к цели оценивания вектора коэффициентов b, необходимо принять несколько предположений относительно того, как генерируются наблюдения, содержащиеся в (3.1):

E (e) = 0; (3.а)

E (ee ¢) = s² I_n; (3.б)

X – множество фиксированных чисел; (3.в)

r (X) = k < n. (3.г)

Первая гипотеза означает, что E (e_i ) = 0 для всех i, то есть переменные e_i имеют нулевую среднюю. Предположение (3.б) – компактная запись второй очень важной гипотезы. Так как e – вектор-столбец размерности n ´1, а e ¢ – вектор-строка, произведение ee¢ – симметрическая матрица порядка n и