Регрессионный анализ

Регрессионный анализ — это статистический метод исследования зависимости случайной величины у от переменных (аргументов) х_j (j = 1, 2,..., k), рассматриваемых в регрессионном анализе как неслучайные величины независимо от истинного закона распределения x_j.

Обычно предполагается, что случайная величина у имеет нормальный закон распределения с условным математическим ожиданием = φ(x₁,..., х_k), являющимся функцией от аргументов х_j и с постоянной, не зависящей от аргументов дисперсией σ².

Для проведения регрессионного анализа из (k + 1)-мерной генеральной совокупности (у, x₁, х₂,..., х_j,..., х_k) берется выборка объемом n, и каждое i -е наблюдение (объект) характеризуется значениями переменных (у_i, x_i1, х_i2,..., х_ij,..., x_ik), где х_ij — значение j -й переменной для i -го наблюдения (i = 1, 2,..., n), у_i — значение результативного признака для i -го наблюдения.

Наиболее часто используемая множественная линейная модель регрессионного анализа имеет вид

(53.8)

где β _j — параметры регрессионной модели;

ε _j — случайные ошибки наблюдения, не зависимые друг от друга, имеют нулевую среднюю и дисперсию σ².

Отметим, что модель (53.8) справедлива для всех i = 1,2,..., n, линейна относительно неизвестных параметров β₀, β₁,…, β_j, …, β_k и аргументов.

Как следует из (53.8), коэффициент регрессии B_j показывает, на какую величину в среднем изменится результативный признак у, если переменную х_j увеличить на единицу измерения, т.е. является нормативным коэффициентом.

В матричной форме регрессионная модель имеет вид

(53.9)

где Y — случайный вектор-столбец размерности п х 1 наблюдаемых значений результативного признака (у₁, у₂,.... у_n); Х— матрица размерности п х (k + 1) наблюдаемых значений аргументов, элемент матрицы х,, рассматривается как неслучайная величина (i = 1, 2,..., n; j= 0,1 ,...,k; x_0i, = 1); β — вектор-столбец размерности (k + 1) х 1 неизвестных, подлежащих оценке параметров модели (коэффициентов регрессии); ε — случайный вектор-столбец размерности п х 1 ошибок наблюдений (остатков). Компоненты вектора ε _i не зависимы друг от друга, имеют нормальный закон распределения с нулевым математическим ожиданием (M ε _i = 0) и неизвестной постоянной σ² (D ε _i = σ²).

На практике рекомендуется, чтобы значение п превышало k неменее чем в три раза.

В модели (53.9)

В первом столбце матрицы Х указываются единицы при наличии свободного члена в модели (53.8). Здесь предполагается, что существует переменная x₀, которая во всех наблюдениях принимает значения, равные единице.

Основная задача регрессионного анализа заключается в нахождении по выборке объемом п оценки неизвестных коэффициентов регрессии β₀, β₁, …, β_k модели (53.8) или вектора β в (53.9).

Так как в регрессионном анализе х_j рассматриваются как неслучайные величины, a M ε _i = 0, то согласно (53.8) уравнение регрессии имеет вид

(53.10)

длявсех i = 1, 2,..., п, или в матричной форме:

(53.11)

где — вектор-столбец с элементами ₁ ..., _i,..., _n.

Для оценки вектора-столбца β наиболее часто используют метод наименьших квадратов, согласно которому в качестве оценки принимают вектор-столбец b, который минимизирует сумму квадратов отклонений наблюдаемых значений у_i от модельных значений _i, т.е. квадратичную форму:

где символом «Т» обозначена транспонированная матрица.

Наблюдаемые и модельные значения результативного признака у показаны на рис. 53.1.

Рис. 53.1. Наблюдаемые и модельные значения результативного признака у

Дифференцируя, с учетом (53.11) и (53.10), квадратичную форму Q по β₀, β₁, …, β_k и приравнивая частные производные к нулю, получим систему нормальных уравнений

решая которую получим вектор-столбец оценок b, где b = (b₀, b₁,..., b_k) ^T. Согласно методу наименьших квадратов, вектор-столбец оценок коэффициентов регрессии получается по формуле

(53.12)

Х ^T — транспонированная матрица X;

(Х ^T Х)^-1 — матрица, обратная матрице Х ^T Х.

Зная вектор-столбец b оценок коэффициентов регрессии, найдем оценку уравнения регрессии

(53.13)

или в матричном виде:

Оценка ковариационной матрицы вектора коэффициентов регрессии b определяется выражением

(53.14)

где

(53.15)

Учитывая, что на главной диагонали ковариационной матрицы находятся дисперсии коэффициентов регрессии, имеем

(53.16)

Значимость уравнения регрессии, т.е. гипотеза Н₀: β = 0 (β₀,= β₁ = β_k = 0), проверяется по F -критерию, наблюдаемое значение которого определяется по формуле

(53.17)

По таблице F -распределения для заданных α, v ₁ = k + l,v₂ = n – k - l находят F _кр.

Гипотеза H₀ отклоняется с вероятностьюα, если F _набл > F _кр. Из этого следует, что уравнение является значимым, т.е. хотя бы один из коэффициентов регрессии отличен от нуля.

Для проверки значимости отдельных коэффициентов регрессии, т.е. гипотезы Н₀: β _j = 0, где j = 1, 2, ..., k, используют t -критерий и вычисляют t _набл(b_j) = b_j / _bj. По таблице t -распределения для заданного α и v = п - k - 1 находят t _кр.

Гипотеза H₀ отвергается с вероятностью α, если t _набл > t _кр. Из этого следует, что соответствующий коэффициент регрессии β _j значим, т.е. β _j ≠ 0. В противном случае коэффициент регрессии незначим и соответствующая переменная в модель не включается. Тогда реализуется алгоритм пошагового регрессионного анализа, состоящий в том, что исключается одна из незначительных переменных, которой соответствует минимальное по абсолютной величине значение t _набл. После этого вновь проводят регрессионный анализ с числом факторов, уменьшенным на единицу. Алгоритм заканчивается получением уравнения регрессии со значимыми коэффициентами.

Существуют и другие алгоритмы пошагового регрессионного анализа, например с последовательным включением факторов.

Наряду с точечными оценками b_j генеральных коэффициентов регрессии β _j регрессионный анализ позволяет получать и интервальные оценки последних с доверительной вероятностью γ.

Интервальная оценка с доверительной вероятностью γ для параметра β _j имеет вид

(53.19)

где t_α находят по таблице t -распределения при вероятности α = 1 - γ и числе степеней свободы v = п - k - 1.

Интервальная оценка для уравнения регрессии в точке, определяемой вектором-столбцом начальных условий X⁰ = (1, x , x , ,..., x )^T записывается в виде

(53.20)

Интервал предсказания _n+1 с доверительной вероятностью у определяется как

(53.21)

где t_α определяется по таблице t -распределения при α = 1 - γ и числе степеней свободы v = п - k - 1.

По мере удаления вектора начальных условий х ⁰ от вектора средних ширина доверительного интервала при заданном значении γ будет увеличиваться (рис. 53.2), где = (1, ).

Рис. 53.2. Точечная и интервальная оценки уравнения регрессии .