Требования, предъявляемые к оценкам параметров моделей

Оценки параметров модели,полученной по одной и той же выборке(совокупности наблюдений), но методами, использующими различные критерии отбора, будут отличаться как по величине, так и по своим статистическим свойствам. При оценивании параметров регрессионных моделей наиболее часто применяется МНК. Его оценки обладают такими статистическими свойствами, как: несмещенность, состоятельность, эффективность. 1Самое минимальное требование: P (│b^-b│>ε)→ 0 при n→ ∞, где ε –сколько угодно положительное число. Если b^ удовлетвлетворяет этому требованию, то называется состоятельной оценкой величины b.Состоятельность означает стремление приближенного равенства b^ ≈b кточному равенству по мере увеличения размерности n выборки. В самом деле если св-во состоятельности справедливо, то какое-либо отличие оценки от величины b становится по мере роста объема n выборки невозможным событием. По это причине свойство: P (│b^-b│>ε)→ 0 при n→ ∞ представляют в виде P lim b^=b при n→ ∞.Если оценка не обладает этим свойством, то она именуется несостоятельной оценкой.2Несмещенность E(b^)=b 3.Эффективность оценки

Оценка называется эффективной среди всех оценок параметра, если она имеет минимальную дисперсию среди всех возможных оценок. Последние два свойства противоречат друг другу. Если же этими свойствами оценка обладает лишь в итоге неограниченного увеличения объема n выборки, то оценка называется асимптотически несмещенной и эффективной.

Метод наименьших квадратов, основные понятия и определения. Расчет оценок параметров уравнения парной регрессии методом наименьших квадратов.

Предположим, что в ходе регрессионного анализа была установлена линейная взаимосвязь между исследуемыми переменными х и у, которая описывается моделью регрессии вида:

В результате оценивания данной эконометрической модели определяются оценки неизвестных коэффициентов. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). Метод наименьших квадратов позволяет получить такие оценки параметров β0 и β1, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) ỹ минимальна: В процессе минимизации функции (1) неизвестными являются только значения коэффициентов β0 и β1, потому что значения результативной и факторной переменных известны из наблюдений. Для определения минимума функции двух переменных вычисляются частные производные этой функции по каждому из оцениваемых параметров и приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений для функции (2):

Если разделить обе части каждого уравнения системы на (-2), раскрыть скобки и привести подобные члены, то получим систему нормальных уравнений для функции регрессии вида yi=β0+β1xi:

Если решить данную систему нормальных уравнений, то мы получим искомые оценки неизвестных коэффициентов модели регрессии β0 и β1:

где – среднее значение зависимой переменной; – среднее значение независимой переменной; – среднее арифметическое значение произведения зависимой и независимой переменных; – дисперсия независимой переменной;

Gcov (x, y) – ковариация между зависимой и независимой переменными.

Таким образом, явный вид решения системы нормальных уравнений может быть записан следующим образом:

Предположим, что методом наименьших квадратов получена оценка.Для того, чтобы данная оценка могла быть принята за оценку параметра необходимо и достаточно выполнения трёх статистических свойств:

1) свойства несмещённости;

2) свойства состоятельности;

3) свойства эффективности.

Сделаем следующие предположения об отклонениях єi:

1) величина єi является случайной переменной;

2) математическое ожидание єi равно нулю: М ( єi ) = 0;

3) дисперсия є постоянна: D( єi ) = D( єi ) = s 2 для всех i, j;

4) значения єi независимы между собой, следовательно, справедливо следующее выражение:

Если данные предпосылки выполняются, то оценки, найденные с помощью метода наименьших квадратов, обладают свойствами несмещённости, состоятельности и эффективности.

Если третье и четвёртое предположения не выполняются, т. е. дисперсия случайных компонент непостоянна и/или значения є коррелируют друг с другом, то свойства несмещенности и состоятельности сохраняются, но свойство эффективности – нет.

Величина называется несмещённой оценкой параметра если её выборочное математическое ожидание равно оцениваемому параметру генеральной совокупности:

Отсюда следует, что

где φi – это величина смещения оценки.

Рассмотрим свойство несмещённости МНК-оценок на примере модели парной регрессии.

Необходимо доказать, что оценка полученная методом наименьших квадратов, является несмещённой оценкой параметра β1 для нормальной линейной модели регрессии, т. е. необходимо доказать справедливость равенства

Следовательно, оценка полученная методом наименьших квадратов, является несмещённой оценкой коэффициента β1 нормальной линейной модели парной регрессии.

Свойство несмещённости оценки коэффициента β0 нормальной линейной модели парной регрессии, полученной методом наименьших квадратов, доказывается аналогично.

Для модели множественной регрессии доказательство свойства несмещённости оценок параметров βi, полученных методом наименьших квадратов, целесообразно провести в матричной форме:

Следовательно, оценки полученные методом наименьших квадратов, являются несмещёнными оценками коэффициентов βi нормальной линейной модели множественной регрессии. Величина является состоятельной оценкой параметра, если она удовлетворяет закону больших чисел. Суть закона больших чисел состоит в том, что с увеличением выборочной совокупности значение оценки стремится к значению параметра генеральной совокупности:

Условие состоятельности можно также записать через теорему Бернулли:

т. е. значение оценки сходится по вероятности к значению параметра генеральной совокупности, при условии, что объём выборочной совокупности стремится к бесконечности. На практике оценка полученная методом наименьших квадратов, считается состоятельной оценкой параметра, если выполняются два условия:

1) смещение оценки равно нулю или стремится к нему при объёме выборки, стремящемся к бесконечности:

2) дисперсия оценки параметрастремится к нулю при объёме выборки, стремящемся к бесконечности:

Рассмотрим свойство состоятельности МНК-оценок на примере модели парной регрессии.

Необходимо доказать, что оценка полученная методом наименьших квадратов, является состоятельной оценкой параметра β1 для нормальной линейной модели регрессии.

Доказательство. Докажем первое условие состоятельности для МНК-оценки

Докажем второе условие состоятельности для МНК-оценки

МНК-оценка подчиняется нормальному закону распределения с математическим ожиданием β1 и дисперсией

или

где индекс 22 указывает на расположение дисперсии параметра β1 в матрице ковариаций.

Свойство состоятельности оценки коэффициента β0 нормальной линейной модели парной регрессии, полученной методом наименьших квадратов, доказывается аналогично. Оценка стандартной ошибки МНК-оценки определяется по формуле:

Для модели множественной регрессии доказательство свойства несмещённости оценок параметров βi, полученных методом наименьших квадратов, целесообразно провести в матричной форме:

Следовательно, оценки полученные методом наименьших квадратов, являются несмещёнными оценками коэффициентов βi нормальной линейной модели множественной регрессии.Эффективность МНК-оценок доказывается с помощью теоремы Гаусса-Маркова.

Вычислим дисперсии параметров уравнения регрессии и дисперсию прогнозирования эндогенной переменной

1. Дисперсия параметра ã₁

2. Дисперсия параметра ã₀

	σ2(y) Определяется с помощью (6.10)

Теорема Гаусса-Маркова, основные допущения и предпосылки, их практическое содержание и назначение

7.1

Если матрица Х неколлинеарна и вектор случайных возмущений удовлетворяет следующим требованиям:

Математическое ожидание всех случайных возмущений равно нулю

Дисперсия случайных возмущений постоянна во всех наблюдениях

(условие ГОМОСКЕДАСТИЧНОСТИ)

Случайные возмущения в разных наблюдениях не зависимы

Случайные возмущения и регрессоры не зависимы

Тогда наилучшей линейной процедурой оценки параметров модели (7.1) является:

которая удовлетворяет методу наименьших квадратов

При этом:

Выводы:

1. Теорема Гаусса-Маркова формулирует наилучшую линейную процедуру расчета оценок параметров линейной модели множественной регрессии

2. Линейная процедура соответствует методу наименьших квадратов

3. Предпосылки теоремы обеспечивают получение оценок, обладающих свойствами несмещенности и эффективности

4. При выполнении предпосылок свойства эффективности и несмещенности достигаются при любом законе распределения случайного возмущения

14.Оценка уравнения парной регрессии с помощью процедур, сформулированных в теореме Гаусса-Маркова.

Построить модель типа Y=a0+a1x +u, по данным вы-борки наблюдений за переменными Y и x объемом n

В схеме Гаусса-Маркова имеем:

1. Вычисляем матрицы (XTX) и (XTX)-1

2. Вычисляем XTY

3. Вычисляем оценку вектора параметров а

Вычислим дисперсии (ковариационную матрицу) параметров модели

Следовательно:

Расчет дисперсии прогнозирования

Прогноз осуществляется в точке Z={1,z}Т

Процедура «ЛИНЕЙН» в приложении EXCEL

Алгоритм использования процедуры:

1. Подготовка таблицы исходных данных

2. Вызов процедуры «ЛИНЕЙН»

3. Ввод исходных данных в процедуру

4. Анализ результата

15.Понятие качества спецификации модели. Методы оценки качества спецификации.

Под качеством спецификации модели понимается:

- качество выбора функции уравнения регрессии;

- качество выбора набора регрессоров (факторов)

Пусть имеем модель в виде уравнения парной регрессии:

Yt = a0 + a1xt + ut (11.1)

Задача: оценить степень влияния экзогенной переменной Х (фактора) на величину эндогенной переменной Y

Другими словами: насколько правильно предположение, что поведение эндогенной переменной зависит от значения фактора Х

В качестве меры влияния принимаются дисперсии переменных Y, X и u

Знаем, что уравнение регрессии описывает поведение среднего значения эндогенной переменной:

Y* = a0 + a1xt (11.3)

Тогда уравнение (11.1) можно записать как:

Yt = Y*t +ut (11.4)

Вычислим дисперсию Y в уравнении (11.4)

Вычислим COV(Yt*,ut):

Таким образом,

Введем обозначения:

Здесь: TSS – общая сумма квадратов эндогенной переменной (Total sum of squares)

RSS – регрессионная сумма квадратов (Regression sum of squares

ESS – сумма квадратов остатков (ошибок) (Error sum of squares

С учетом принятых обозначений выражение (11.4) можно записать в виде:

TSS = RSS + ESS (11.5)

В качестве показателя степени влияния выбранного регрессора на поведение эндогенной переменной принимается отношение:

R2 – называется коэффициентом детерминации

Коэффициент детерминации R2 имеет смысл (определен) только для моделей, в спецификации которой присутствует коэффициент a0

Если R2 =1, т.е. RSS=TSS, a ESS=0, то такая модель называется «абсолютно хорошей»

Это означает, что выбранный регрессор полностью объясняет поведение эндогенной переменной.

Если R2 =0, т.е. RSS=0, а ESS=TSS, то такую модель называют «абсолютно плохой»

В этом случае весь диапазон изменения эндогенной переменной объясняется влиянием случайного возмущения, а выбранный регрессор не оказывает влияния, не объясняет поведение эндогенной переменной

Отметим следующее:

R2 – величина случайная, т.к. его конкретное значение вычисляется по результатам случайной выборки

Это означает, что полученное значение коэффициента детерминации отличное от нуля еще не является достаточным основанием считать модель качественной

Необходимо проверить статистическую гипотезу о не равенстве нулю R2: (H0: R2>0)

Внимание! Формулируется гипотеза о не равенстве нулю R2, т.е гипотеза о том, что модель не плохая

Для проверки гипотезы H0: R2=0:

1. Формируем случайную величину с известным законом распределения

где: к - количество параметров в модели

n – количество наблюдений в выборке

Случайная величина FTest подчиняется закону распределения вероятностей Фишера

Критическое значение зависит от уровня доверительной вероятности и двух параметров: k-1 и (n-k)

Для проверки гипотезы H0: R2>0:

2. Вычисляется по данным выборки значение FTest.

3. Находится по таблице значение Fкр(Pдов, k-1, n-k).

4. Сравниваются значения Fкр и FTest.

Если FTest > Fкр

то гипотеза H0: R2>0 не отвергается

Значит модель имеет не плохое качество спецификации

Т.е. выбранный регрессор объясняет поведение эндогенной переменной.

Замечание. Значения R2 и FTest вычисляются функцией «ЛИНЕЙН» в EXCEL

Выводы:

1. Одним из показателей качества спецификации является коэффициент детерминации R2

2. Качество спецификации проверяется путем с помощью статистической гипотезы Н0: R2 >0

Если гипотеза Н0 принимается – модель не плохая!

3. Критерий принятия решения – Ftest

4. В моделях в виде множественной регрессии осуществляется проверка статистической гипотезы H0: ai=0

Если гипотеза Н0 принимается, то регрессор хi следует исключить из модели как статистически незначимый!

5. При принятии гипотезы о некачественной спецификации необходимо вернуться к первому этапу построения модели