Отбор факторов при построении множественной регрессии

Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям.

1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность.

2. Факторы не должны быть интеркоррелированы (т.е. между объясняющими переменными присутствует корреляция) и тем более находиться в точной функциональной связи.

Включение в модель факторов с высокой интеркорреляцией может привести к ненадежной оценке коэффициентов регрессии, так как нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми.

Включаемые во множественную регрессию факторы должны объяснить вариацию независимой переменной. Если строится модель с набором р факторов, то для нее рассчитывается показатель детерминации R², который фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии р факторов. Влияние других, не учтенных в модели факторов, оценивается как (1– R²) с соответствующей остаточной дисперсией S².

При дополнительном включении в регрессию р+ 1 фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться.

Если же этого не происходит и данные показатели практически мало отличаются друг от друга, то включаемый в анализ фактор х_p+1 не улучшает модель и практически является лишним фактором.

Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по t -критерию Стьюдента.

Отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй – на основе матрицы показателей корреляции определяют t -статистики для параметров регрессии.

Коэффициенты интеркорреляции позволяют исключать из модели дублирующие факторы. Считается, что две переменных явно коллинеарны, т. е. находятся между собой в линейной зависимости, если парный коэффициент корреляции .

Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.

Пусть, например, при изучении зависимости y= f(x, z, v) матрица парных коэффициентов корреляции оказалась следующей:

Очевидно, что факторы х и z дублируют друг друга. В анализ целесообразно включить фактор z, а не х, так как корреляция z с результатом у слабее, чем корреляция фактора х с у (r_yz < r_yx), но зато слабее межфакторная корреляция r_zv < r_xv. Поэтому в данном случае в уравнение множественной регрессии включаются факторы z, v.