Уравнение регрессии между двумя и более признаками

На практике корреляционный анализ обычно дополняется регрессионным, а именно, построением уравнения зависимости между переменными. Знание количественной характеристики независимой переменной предопределяет знание величины зависимой переменной. Рассмотрим методику определения параметров модели на примере парной линейной зависимости. Она может быть выражена с помощью уравнения

y = a + bx,

где y — результирующая (или прогнозируемая) зависимая переменная; x — независимая переменная (или факторный признак); a — свободный член уравнения; b — коэффициент регрессии, измеряющий среднее отношение отклонения результативного признака от его средней величины к отклонению факторного признака от его средней величины.

Основным методом решения задачи нахождения параметров уравнения связи (линии регрессии) является метод наименьших квадратов (МНК). Суть его состоит в минимизации суммы квадратов отклонений фактически измеренных значений зависимой переменной у от ее теоретических значений, вычисленных по уравнению связи с факторным признаком на основе значений переменной х. Необходимо отметить, что рассчитать точные значения a и b невозможно, можно получить только их оценки с некоторой точностью. Общий смысл оценивания по методу наименьших квадратов заключается в минимизации суммы квадратов отклонений наблюдаемых значений зависимой переменной от теоретических значений (минимизации остатков). МНК-оценки получаются минимизацией функции

.

Величина S всегда положительна и зависит от выбора значений а и b, так как они определяют положение линии регрессии по отношению к осям координат. Чем меньше S, тем точнее построена модель. Принцип минимизации суммы квадратов остатков эквивалентен минимизации дисперсии остатков, при этом автоматически максимизируется коэффициент R². [lvii] Для определения a и b находятся частные производные, приравниваются к нулю, после выполнения необходимых преобразований получаются оценки a и b, минимизирующие ошибку S:

При описании и моделировании реальных экономических систем факторы y и х имеют естественные единицы измерения. Интерпретировать полученные значения a и b можно следующим образом. Увеличение х на одну единицу приведет к увеличению значения у на b единиц. Постоянная а дает прогнозируемое значение у при х = 0 и может не иметь ясного экономического смысла.

Аналогичным образом могут быть получены расчетные соотношения для вычисления параметров нелинейных моделей. Для получения количественных оценок параметров можно применить принцип минимизации суммы квадратов отклонений. Процедура представляет собой следующую последовательность шагов:

1. Вычисляются и принимаются некоторые достаточно правдоподобные исходные значения параметров уравнения.

2. Вычисляются предсказанные значения у по фактическим значениям х с использованием этих значений параметров.

3. Вычисляются остатки для всех наблюдений в выборке и сумма квадратов остатков (S).

4. Вносятся небольшие изменения в одну или более оценок параметров.

5. Вычисляются новые предсказанные значения у, остатки и S.

6. Если S оказывается меньше, чем предыдущая, то новые оценки параметров лучше и их следует использовать в качестве новой отправной точки.

7. Шаги 4, 5 и 6 повторяются вновь до тех пор, пока не окажется невозможным внести такие изменения в оценки параметров, которые привели бы к уменьшению S.

8. Делается вывод о том, что величина S минимизирована и конечные оценки параметров являются оценками по методу наименьших квадратов.

При выполнении корреляционно-регрессионного анализа возникает задача выбора формы модели. Наиболее «качественной» является оценка регрессии для всех возможных функций (в разумных пределах) и выбор из них такой, которая в наибольшей степени объясняет изменения зависимой переменной. Однако если альтернативные модели используют разные функциональные формы, то проблема выбора становится более сложной, так как в общем случае нельзя непосредственно сравнивать коэффициенты R² или суммы квадратов отклонений. Например, нельзя сравнить статистики для линейного и логарифмического вариантов модели. Это объясняется тем, что величина R² безразмерна, но в разных уравнениях она относится к разным понятиям. В одном уравнении она измеряет объясненную регрессией долю дисперсии у, а в другом — объясненную регрессией долю дисперсии log y. В общем случае, если для одной модели коэффициент R² значительно больше, чем для другой, то можно сделать оправданный выбор первой модели. Однако если значения R² для двух моделей отличаются незначительно, то в этом случае следует использовать тест Бокса — Кокса[lviii].

На практике часто приходится исследовать зависимость результативного признака от нескольких факторных признаков. Аналитическая форма связи результативного признака и ряда факторных признаков выражается многофакторным (множественным) уравнением регрессии. Линейное уравнение множественной регрессии имеет вид

.

Корреляционно-регрессионной моделью (КРМ)системы взаимосвязанных признаков является такое уравнение регрессии, которое включает в себя основные факторы, влияющие на вариацию результативного признака, обладает высоким (более 0,5) коэффициентом детерминации и коэффициентами регрессии, интерпретируемыми в соответствии с теоретическим знанием о природе связей в изучаемой экономической системе. Принято различать две основные формы КРМ: аддитивную и мультипликативную.

Аддитивная форма используется, если каждый i -й фактор (x_i) вносит свой индивидуальный вклад в общий результат независимо от других факторов. Иными словами, значение фактора y представляет собой сумму «вкладов» всех факторов. Математически КРМ может быть записана следующим образом:

Мультипликативная форма КРМ применяется при описании систем, для которых характерно только совместное влияние всех факторов на результат. Принятие нулевого значения хотя бы одним из этих факторов приводит к нулевому значению результирующего фактора. Математически КРМ может быть записана в виде формулы

В обеих формах силы влияния каждого фактора x_k на результат могут быть различны. Их учитывают с помощью весовых коэффициентов b_k. Для упрощения исследований мультипликативная форма КРМ может быть линеаризована логарифмированием:

Общие рекомендации по построению КРМ следующие.

1. Факторные признаки должны находиться в объективной причинной связи с результативным признаком.

2. Факторные признаки не должны быть составными частями результативного признака или его функциями.

3. Факторные признаки не должны быть взаимозависимыми.

4. Не следует включать в модель факторы разных уровней иерархии, т.е. фактор и составляющие его субфакторы.

5. Желательно, чтобы для результативного признака и факторов соблюдалось единство единицы совокупности, к которой они отнесены.

6. Математическая форма КРМ должна соответствовать логике связи факторов с результатом в реальном объекте.

7. Принцип простоты: предпочтительнее модель с меньшим числом факторов при том же или даже при несущественно меньшем коэффициенте детерминации.

Необходимо помнить, что при существенных изменениях в условиях протекающего процесса прежнее уравнение регрессии результативного признака теряет адекватность.