В чем суть статистической значимости коэффициентов регрессии?

Как и в случае парной регрессии, статистическая значимость коэффициентов множественной линейной регрессии с m объясняющими переменными проверяется на основе t-статистики:

имеющей в данной ситуации распределение Стьюдента с числом степеней свободы ν = n-m-1 (n — объем выборки, m — количество объясняющих переменных в модели).(при парной регрессии число стtпеней свободы равно n-2) При требуемом уровне значимости наблюдаемое значение t-статистики сравнивается с критической точкой t_крит= t_α/2, n-m-1 распределения Стьюдента.

Если |t | > t_крит, то коэффициент bj считается статистически значимым. В противном случае (|t | <= t_крит) коэффициент bj считается статистически незначимым (статистически близким к нулю). Это означает, что фактор Xj линейно не связан с зависимой переменной Y. Его наличие среди объясняющих переменных не оправдано со статистической точки зрения. Он не оказывает сколько-нибудь серьезного влияния на зависимую переменную, а лишь искажает реальную картину взаимосвязи. Если коэффициент bj статистически незначим, рекомендуется исключить из уравнения регрессии переменную Xj. Это не приведет к существенной потере качества модели, но сделает ее более конкретной.

21. Как определяется статистическая значимость коэффициентов регрессии

Проверка гипотезы (), (гипотеза о статистической значимости коэффициента регрессии).

Если Н ₀ принимается, то есть основания считать, что исследуемая величина Y не зависит от Х. В этом случае коэффициент считается статистически незначимым (близким к нулю). При отклонении Н ₀ (принятии Н ₁) коэффициент признается статистически значимым, что указывает на наличие определенной линейной зависимости между Y и Х.

Оценка с помощью t-критерия Стьюдента значимости коэффициентов b1 и b2 связана с сопоставлением их значений с величиной их случайных ошибок: Sb1 и Sb2 аналогично

- стандартная ошибка регрессии

– стандартная ошибка; - коэффициент регрессии

Чтобы сделать вывод о статистической значимости , рассчитывается соответствующее наблюдаемое значение t_набл по формуле и сравнивается с критическим значением t_кр при выбранном уровне значимости α и числе степеней свободы в парной регрессии n - 2 (t _{α, n - 2}) (Во множественной регрессии распределение Стьюдента с числом степеней свободы v = n - m - 1 (n – объем выборки, m – число объясняющих переменных в модели). Если | t_набл | > t_кр, то гипотеза Н ₀ отклоняется и коэффициент признается статистически значимым.

Коэффициент регрессии может изменяться в пределах

22. Что такое предсказание значения зависимой переменной? Как его найти?

В общем случае прогнозирование представляет собой задачу оценки зависимой переменной Y для некоторого набора объясняющих переменных, не входящих в область наблюдаемых статистических данных

С помощью интервальных оценок, построенных с заданной надежностью (1 –α), для конкретного значения х0можно построить доверительный интервал для условного математического ожидания (среднего значения) Y

– для парной регрессии;

- средняя квадратическая ошибка рассчитанных по модели (прогнозируемых) значений , записанная в матричной форме для множественной регрессии.

Ошибка прогнозного значения и доверительный интервал для прогнозного значения

Прогнозное значение в точке х₀ обозначим через

Ошибка прогноза

– для парной регрессии;

- для множественной регрессии.

Доверительный интервал для прогноза

Доверительный интервал для прогнозного значения – это интервал, который с надежностью(вероятностью) 1-α показывает истинное значение объсняемой переменной y, которую принимает при x=

23. Что означает статистическая значимость уравнения регрессии в целом? Как проверить значимость уравнения по F-тесту?

Проверить гипотезу о статистической значимости уравнения регрессии означает установить соответствует ли материалистическая модель, выражающая зависимость между Х и Y экспериментальным данным и достаточно ли включенных в модель факторов.

Проверка значимости уравнения проводится с помощью дисперсионного анализа

Дисперсия - это разброс

(TSS = RSS + ESS)

TSS – вся сумма квадратов отклонений; RSS – сумма квадратов отклонений, объясненная регрессией; ESS – сумма квадратов отклонений, необъясненной дисперсией.

Показатель качества регрессии: ;

Уравнение регрессии значимо на уровне значимости α, если F-статистика

k1 =m -1 m- число параметров регрессии (для парной m=2)

k2 = n-m n – количество изменений

( Существует таблица критических значений F –отношений при разных уровнях существенности нулевой гипотезы и значений степеней свободы)

Если известен коэффициент детерминации R^2, то критерий значимости уранения регрессии можно записать в виде

24. Что такое мультиколлинеарность? Последствия мультиколлинеарности.

Мультиколлинеарность факторов – ситуация, когда более чем два фактора связаны между собой линейной зависимос­тью. Наличие мультиколлинеарности факторов может озна­чать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полно­стью независимой, и нельзя оценить воздействие каждого факто­ра в отдельности. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью метода наименьших квадратов (МНК).

Включение вмодель мультиколлинеарных факторов нежела­тельно в силу следующих последствий:

1. Затрудняется интерпретация параметров множественной ре­грессии как характеристик действия факторов в «чистом» ви­де, ибо факторы коррелированы; параметры линейной регрессии теряют экономический смысл;

2. Оценки параметров ненадежны, обнаруживают большие стан­дартные ошибки и меняются с изменением объема наблюде­ний.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреля­ции между факторами.

Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей. Для включающего три объ­ясняющих переменных уравнения: y=a+b1x1+b2+b3x3+e.Матрица коэф-в корреляции м/у факторами имела бы определитель равный 1, т.к. r_x1x1=r_x2x2=1 и r_x1x2=r_x1x3=r_x2x3=0.

Если м/у факторами сущ-ет полная линейная зависимость и все коэф-ты корреляции =1, то определитель такой матрицы =0.

Чем ближе к нулю определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И, наоборот, чем ближе к единице определитель матрицы межфакторной кор­реляции, тем меньше мультиколлинеарность факторов.

25. Методы устранения мультиколлинеарности.

1. Отбор тех факторов, которые мало коррелируют друг друга

2. Метод «гребневой регрессии». Метод основан на том, что при оценке параметров регрессии переходят от несмещенных оценок к смещенным, но с меньшей дисперсией, по специальной формуле.

3. Метод главных компонент. Заключается в том, что исходные, сильно коррелированные факторы заменяются совокупностью новых переменных, между которыми корреляция отсутствует.

главная компонента

- собственные числа

Если последние ⅄ близки к нулю, то мы их отбрасываем, и не будем рассматривать переменные

Для каждого собственного числа находится соответствующий собственный вектор

…