Уравнение линейной регрессии

Если в регрессионном анализе рассматривается пара переменных, одна зависимая и одна независимая, то говорят о простой (парной) регрессии. Если независимых переменных более одной, то говорят о множественной регрессии.

В дальнейшем будем рассматривать только линейную регрессию. Пусть рассматривается совокупность переменных y, x₁, x₂, …, x_m, причём, будем считать, что y – зависимая переменная, а x₁, x_2, …, x_m – независимые. Для этих переменных уравнение множественной линейной регрессии (как оценка модели) может быть записано так:

y = a + b₁ x₁ + b₂ x₂ + …+ b_m x_m + е,

где а – оценка свободного члена уравнения регрессии;

b_k – оценки коэффициентов регрессии при переменных x_k;

е – отклонения фактических значений зависимой переменной от расчётных.

Если расчётные значения обозначить через , то

= a + b₁ x₁ + … + b_m x_m.

Тогда y = + е или е = y – . В дальнейшем е будем называть остатками.

Итак, а и b_k (k = ) – оценки параметров уравнения регрессии, получаемые обычно на основе метода наименьших квадратов (МНК).

Свободный член уравнения регрессии обычно не интерпретируется. Коэффициенты уравнения регрессии показывают, на сколько в среднем изменится значение зависимой переменной (в своих единицах измерения), если значение соответствующих независимых переменных изменится на единицу (в своих единицах измерения) при фиксированных значениях других независимых переменных. Но это так, если выполняется основная предпосылка регрессионного анализа, т.е. если объясняющие переменные не зависят между собой. Иначе смысл этих коэффициентов искажается. В случае же мультиколлинеарности коэффициенты уравнения регрессии вообще теряют какой-либо смысл.

Сопоставимость коэффициентов уравнения регрессии в случае разных единиц измерения достигается при рассмотрении стандартизованного уравнения регрессии:

y⁰ = b₁x₁⁰ + b₂x₂⁰ + … + b_mx_m⁰ + е,

где y⁰ и x⁰_k – стандартизованные значения переменных y и x_k:

где S_y и S – стандартные отклонения переменных y и x_k, а b_k – b –коэффициенты уравнения регрессии. b-коэффициенты показывают, на какую часть своего стандартного отклонения S_y в среднем изменится зависимая переменная y, если независимая переменная x_k изменится на величину своего стандартного отклонения S (при прочих равных условиях). Оценки параметров уравнения регрессии в абсолютных показателях (b_k) и β-коэффициентов связаны соотношениями

.

При анализе воздействия на моделируемый признак показателей, включённых в уравнение регрессии, наравне с b-коэффициентами используются также коэффициенты эластичности:

которые показывают, на сколько процентов в среднем изменится зависимая переменная, если соответствующая независимая переменная изменится на один процент (при прочих равных условиях).