Оценка параметров уравнения множественной регрессии

Параметры уравнения множественной регрессии оцениваются, как и в парной регрессии, методом наименьших квадратов (МНК). Возможны два способа расчета параметров многофакторной модели:

- методом определителей;

- метод стандартизации переменных (с использованием парных коэффициентов корреляции).–

В первом случае для линейных уравнений и нелинейных уравнений, приводимых к линейным, строится следующая система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии:

(1.6)

Для ее решения может быть применен метод определителей:

(1.7)

где - определитель системы; (1.8)

частные определители, которые получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы.

Во втором методе уравнение множественной регрессии преобразуется в уравнение регрессии в стандартизованном масштабе (виде):

, (1.9)

где стандартизованные переменные; стандартизованные коэффициенты регрессии.

К уравнению множественной регрессии в стандартизованном масштабе применим МНК, стандартизованные коэффициенты регрессии определяются из следующей системы уравнений:

, (1.10)

Связь коэффициентов множественной регрессии b _i со стандартизованными коэффициентами описывается соотношением

(1.11)

Параметр а определяется как . (1.12)

Это позволяет от уравнения регрессии в стандартизованном масштабе

,

переходить к уравнению регрессии в натуральном масштабе переменных:

При нелинейной зависимости признаков, приводимой к линейному виду, параметры множественной регрессии также определяются МНК с той лишь разницей, что он используется не к исходным переменным, а к преобразованным данным. Например, для степенной функции

преобразование в линейный вид заключается, как и в парной регрессии, в логарифмировании уравнения по десятичному или натуральному основанию. Линейный вид степенной функции: где переменные выражены в логарифмах.

Далее обработка МНК та же, что и описана выше: строится система нормальных уравнений и определяются параметры lna, b₁, b₂, …, b _p. Потенцируя значение lna, найдем параметр а и соответсвенно общий вид степенной функции.

Для другого вида моделей, например, полиномиальных, гиперболических и т. п. линеаризация исходного уравнения проводится, как и в парной регрессии, путем замены нелинейных переменных на линейные.