Методы регрессионного анализа

Регрессионный анализ – это статистический метод исследования зависимости между зависимой переменной Y и одной или несколькими независимыми переменными X₁, X₂,...,X_n. При этом связь между Y и X, где Y – результирующий показатель (эндогенная переменная), а Х – независимый фактор (экзогенная переменная), выражается в виде регрессионного уравнения:

, если независимый фактор один (парная регрессия).

, если независимых факторов несколько (множественная регрессия).

Основные виды уравнений парной регрессии:

1. Линейная:

2. Гиперболическая:

3. Степенная:

4. Логарифмическая:

5. Параболическая модель n-го порядка:

6. Тригонометрическая модель:

Сущность регрессионного анализа заключается в определении неизвестных параметров уравнений регрессии (a,b,…). Для этого используется метод наименьших квадратов (М К).

Несомненно, что причем сложнее регрессионная модель, т.е. чем больше параметров она содержит, тем более точным получается результат. При увеличении числа параметров точность аппроксимации возрастает, однако значимость модели уменьшается в результате увеличения дисперсий:

, где N – количество наблюдений, n – количество параметров в модели.

- коэффициент детерминации, определяющий долю разброса зависимой переменной Y от объяснимой регрессии Ỹ(X).

Сам по себе коэффициент детерминации о качестве модели не говорит, он лишь дополняет картину: тем ближе R² к 1, чем теснее связь, либо тем ближе к 0, чем связь слабее.

После того как найдено уравнение линейной регрессии, проводится оценка значимости как уравнения в целом, так и отдельных его параметров. Проверить значимость уравнения регрессии – значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной.

Значимость параметра уравнения регрессии определяется с помощью T-критерия Стьюдента. При этом рассчитывается значения T_расч. и сравнивается с критическим значением по таблице T-критериев Стьюдента. Если для параметра а_k получается, что , то параметр a_k признается значимым, то есть между X_k и Y связь есть. Если , то параметр a_k признается незначимым, и между X_k и Y связь отсутствует.

После оценки значимости параметров регрессии обычно определяют совокупную значимость параметров, которая позволяет оценить уравнение регрессии в целом. Данная оценка позволяет узнать, пригодно ли уравнение для прогнозирования или нет.

Для проверки значимости уравнения в целом используют коэффициент детерминации и проверяют его значимость. Для этого используют критерий Фишера:

Рассчитанное значение F-критерия Фишера сравнивается с табличным значением F. При этом, если фактическое значение F-критерия больше табличного, то признается статистическая значимость уравнения в целом.

Величина F-критерия связана с коэффициентом детерминации R² и ее можно рассчитать по следующей формуле:

Значимость параметров регрессии еще не гарантирует высокого качества уравнений регрессии. При анализе уравнений регрессии необходимо проверять предпосылку, которую можно сформулировать так: отклонения, или остатки должны быть статистически независимы между собой, причём анализируют не любые остатки, а только соседние: .

Автокорреляция определяется как корреляция между показателями, упорядоченными во времени и пространстве. В нашем случае рассматривается автокорреляция остатков (отклонений) . Если последовательные значения e_i коррелируют между собой, то это означает, что имеет место ошибка спецификации, т.е. неправильный выбор уравнения регрессии.

Автокорреляция бывает двух видов: положительная и отрицательная.

Положительная автокорреляция приводит к тому, что преобладают последовательные отклонения одного знака над соседними отклонениями противоположного знака, т.е. идёт серийное чередование знаков: серия остатков положительных сменяет серию остатков отрицательных (рис. 2.1. а)

Отрицательная автокорреляция означает, что за положительным отклонением следует отрицательное (рис. 2.1. б)

а) б)

Рис. 2.1. Автокорреляция остатков: а) – положительная,
б) - отрицательная

Наиболее известным критерием обнаружения автокорреляции является критерий Дарбина-Уотсона, который основан на расчёте величины DW:

Анализируя критерий DW, можно сделать вывод о наличии автокорреляции:

1) Если имеет место отрицательная автокорреляция, то соседние остатки имеют разные знаки, и при условии, что , можно получить:

2) Если имеет место положительная автокорреляция, то соседние остатки имеют один знак: , а значит:

3) Если корреляция отсутствует, то в половине случаев знаки последовательных отклонений совпадают, а в другой половине они противоположны:

Таким образом, необходимым условием независимости случайных отклонений является близость критерия DW к 2. Для определения автокорреляции применяют таблицу критических точек распределения Дарбина-Уотсона.

Общая схема критерия Дарбина-Уотсона:

1) По уравнению регрессии определяют остатки

2) Рассчитывают критерий Дарбина-Уотсона

3) По таблице критических точек Дарбина-Уотсона определяют d₁ и d₂ и проверяют нулевую гипотезу об отсутствии автокорреляции (приложение 1). При этом строят числовой отрезок и определяют, куда попадает рассчитанное значение (рис. 2.2.)

Рис. 2.2. Графический метод определения автокорреляции остатков по критерию Дарбина-Уотсона

Выбор формы уравнения регрессии. Форма уравнения регрессии выбирается из числа рассмотренных. При этом выполняются следующие операции:

1. Определяют неизвестные параметры.

2. Определяют коэффициент детерминации

3. Определяют значимость параметров

4. Определяют значимость всего уравнения в целом

5. Определяют DW.

Выбирают те зависимости, для которых автокорреляция остатков отсутствует, т.е. , наибольший коэффициент детерминации, все параметры и уравнение в целом значимо. Выбранная зависимость будет иметь наибольший уровень адекватности реальной зависимости.