Множинна регресія

Множинна регресія

Регресійна модель описується рівнянням зв'язку з декількома незалежними перемінними:

де в – залежна перемінна (результативна ознака);

х₁, х₂,……....., х_р – незалежні перемінні (фактори).

Для побудови рівняння множинної регресії частіше використовуються наступні функції:

· лінійна –

· степенева –

· експонента –

· гіпербола –

Можна використовувати й інші функції, що приводяться до лінійного виду.

Для оцінки параметрів рівняння множинної регресії застосовують метод найменших квадратів (МНК). Для лінійних Рівнянь і нелінійних рівнянь, що приводяться до лінійних, будується наступна система нормальних рівнянь, рішення якої дозволяє одержати оцінки параметрів регресії:

Для її рішення може бути застосований метод визначників:

де – визначник системи;

– приватні визначники; які виходять шляхом заміни відповідного стовпця матриці визначника системи даними лівої частини системи.

Інший вид рівняння множинної регресії - рівняння регресії в стандартизованому масштабі:

де – стандартизовані перемінні;

– стандартизовані коефіцієнти регресії.

До рівняння множинної регресії в стандартизованому масштабі застосуємо МНК. Стандартизовані коефіцієнти регресії (β-коефіцієнти) визначаються з наступної системи рівнянь:

Зв'язок коефіцієнтів множинної регресії b_i зі стандартизованими коефіцієнтами β _i, описується співвідношенням |

Параметр а визначається як

Середні коефіцієнти еластичності для лінійної регресії розраховуються по формулі

Для розрахунку приватних коефіцієнтів еластичності застосовується наступна формула:

Тісноту спільного впливу факторів на результат оцінює індекс множинної кореляції:

Знамення індексу множинної кореляції лежить у межах від 0 до 1 і повинно бути більше або дорівнює максимальному парному індексові кореляції:

Індекс множинної кореляції для рівняння в стандартизованому масштабі можна записати у виді

При лінійній залежності коефіцієнт множинної кореляції можна визначити через матрицю парних коефіцієнтів кореляції:

де

– визначник матриці

парних коефіцієнтів кореляції;

– визначник матриці

міжфакторної кореляції.

Приватні коефіцієнти (або індекси) кореляції, що вимірюють вплив на у фактора х_i, при незмінному рівні інших факторів, можна визначити по формулі

або по рекурентної формулі:

Приватні коефіцієнти кореляції змінюються в межах від -1 до 1.

Якість побудованої моделі в цілому оцінює коефіцієнт (індекс) детермінації. Коефіцієнт множинної детермінації розраховується як квадрат індексу множинної кореляції:

Скоректований індекс множинної детермінації містить виправлення на число ступенів волі і розраховується по формулі

де n – число спостережень;

m – число факторів.

Значимість рівняння множинної регресії в цілому оцінюється за допомогою F – критерію Фішера:

Приватний F – критерій оцінює статистичну значимість присутності кожного з факторів у рівнянні. У загальному виді для фактора x_i- приватний F -критерій визначиться як

Оцінка значимості коефіцієнтів чистої регресії за допомогою F -критерію Стьюдента зводиться до обчислення значення

де – середня квадратичная помилка коефіцієнта регресії b_i вона може бути визначена по наступній формулі:

При побудові рівняння множинної регресії може виникнути проблема мулътіколінеарності факторів, їх тісної лінійної зв'язаності.

Вважається, що дві перемінні явно колінеарні, тобто знаходяться між собою в лінійній залежності, якщо 0,7.

По величині парних коефіцієнтів кореляції виявляється лише явна колінеарності факторів. Найбільші труднощі у використанні апарата множинної регресії виникають при наявності мультіколлінеарності факторів. Ніж сильніше мультіколлінеарність факторів, тим менш надійна оцінка розподілу суми поясненої варіації по окремих факторах за допомогою методу найменших квадратів.

Для оцінки мультіколлінеарністи факторів може використовуватися визначник матрщы парних коефіцієнтів кореляції між факторами.

Якби фактори не корелювали між собою, то матриця парних коефіцієнтів кореляції між факторами була б одиничною матрицею, оскільки всі недіагональні елементи були б дорівнюють нулеві. Так, для включающего три пояснюючих перемінних рівняння

матриця коефіцієнтів кореляції між факторами мала би визначник, рівний 1:

тому що

Якщо ж, навпаки, між факторами існує повна лінійна залежність і всі коефіцієнти кореляції рівні 1, то визначник такої матриці дорівнює 0:

Чим ближче до 0 визначник матриці межфакторной кореляції, тим сильніше мультіколлінеарність факторів і ненадійніше результати множинної регресії. І навпаки, чим ближче до 1 визначник матриці межфакторной кореляції, тим менше мультіколлінеарність факторів.

Перевірка мультіколлінеарністи факторів може бути проведена методом іспиту гіпотези про незалежність перемінних . Доведено, що величина має наближений розподіл ступенями волі. Якщо фактичне значення х² перевершує табличне (критичне) то гіпотеза Н₀ відхиляється. Це означає, що Det|R|≠1, недіагональні ненульові коефіцієнти кореляції вказують на коллінеарність факторів. Мультіколлінеарність вважається доведеною.

Для застосування МНК потрібно, щоб дисперсія залишків була гомоскедастичной. Це значить, що для кожного значення фактора х_j залишки мають однакову дисперсію. Якщо ця умова не дотримується, то має місце гетероскедастичность.

При порушенні гомоскедастичности мі маємо нерівності

При малому обсязі вибірки для оцінки гетероскедастичности може використовуватися метод Гольдфельда – Квандта. Основна ідея тесту Гольдфельда – Квандта полягає в наступному:

1) упорядкування п спостережень у міру зростання перемінної х;

2) виключення з розгляду З центральних спостережень; при цьому

(п – C): 2> р, де р - число оцінюваних параметрів;

3) поділ сукупності з (п – З) спостережень на двох груп (відповідно з малими і з великими значеннями фактора х) і визначення по кожнійій із груп рівнянь регресії;

4) визначення залишкової суми квадратів для першої (S₁) і другий (S₂) груп і перебування їхні відносини: R = S₁: S₂.

При виконанні нульової гіпотези про гомоскедастичности відношення R буде задовольняти F-критерієві зі ступенями волі ((n – З – 2р): 2) для кожної залишкової суми квадратів. Чим більше величина R перевищує табличне значення F-критерію, тим більше порушена передумова про рівність дисперсій залишкових величин.

Рівняння множинної регресії можуть включати в якості незалежних перемінних якісні ознаки (наприклад, професія, стать, утворення, кліматичні умови, окремі регіони і т.д.). Щоб увести такі перемінні в регресійну модель, їхній необхідно упорядкувати і привласнити їм ті або інші значення, тобто якісні перемінні перетворити в кількісні.

Такого виду сконструйовані перемінні прийняте в эконометрике називати фіктивними перемінними. Наприклад, включати в модель фактор «стать» у виді фіктивної перемінної можна в наступному виді:

Коефіцієнт регресії при фіктивній перемінній інтерпретується як середня зміна залежної перемінної при переході від однієї категорії (жіночий стать) до іншої (чоловіча стать) при незмінних значеннях інших параметрів, На основі F-критерію Стьюдента робиться висновок про значимості впливу фіктивної перемінної, істотності розбіжності між категоріями.