Свойства оценок параметров модели

Оценки параметров модели, определенные методом наименьших квадратов, будут несмещенными, состоятельными и эффективными, если соблюдаются предпосылки этого метода.

Несмещенность — свойство оценок параметров модели, которое заключается в том, что математическое ожидание коэффициентов модели должно равняться их истинному значению при любом объеме выборки. Условие несмещенности часто записывают в виде М_β(b) = β или М(b) = β [6, с. 533].

Несмещенность означает, что при расчете оценки мы не получим систематической ошибки.

Состоятельность — свойство оценок параметров модели, которое заключается в том, что с ростом объема выборки численное значение коэффициента модели должно стре­миться к соответствующему параметру генеральной совокупности.

Состоятельность оценки гарантирует приближение оценки к истинному значению параметра при увеличении объема выборки.

Эффективность — свойство оценок параметров модели, которое заключается в том, что для выборок равного объема они должны иметь минимальную дисперсию.

Эффективность оценки является наилучшей в смысле минимума среднеквадратического отклонения.

Несмещенность и эффективность — это свойства, кото­рые не зависят от объема выборки. Состоятельность являет­ся асимптотическим свойством оценки при стремлении n к бесконечности [6, с. 533—534].

При первом чтении доказательства свойств оценок пара­метров модели можно пропустить.

Проверим полученные оценки параметров линейной мо­дели на несмещенность по следующим шагам:

шаг 1 — уточнить постановку задачи;

шаг 2 — в формулу расчета коэффициента а₁ (или а₀) необходимо ввести параметр α₁ (или α₀);

шаг 3 — для полученного выражения взять математи­ческое ожидание;

шаг 4 — выполнить анализ полученного результата.

Проверим на несмещенность формулу расчета коэффи­циента а₁, полученной методом наименьших квадратов.

Шаг 1. Уточним постановку задачи. Мы располагаем сле­дующими объектами для анализа:

1) Модель зависимости У от X для генеральной совокуп­ности

,

при соблюдении следующих ограничений:

а) М(ε_i) = 0 — при всех i;

б)

M(X_i ε_j)=0 при i=j; i≠j; i,j=1,2,…,n,

где M — математическое ожидание;

ε_i — возмущения модели;

σ_ε² — дисперсия возмущений, не зависящая от i.

2) Имеется модель зависимости У от X для выборочной совокупности

3) Коэффициент а₁ вычисляется по следующей формуле

4) Имеется гипотеза. На интуитивном уровне мы предпо­лагаем, что коэффициент α₁, вычисленный по выборочной совокупности будет отличаться от истинного параметра α₁, вычисленного для данных всей генеральной совокупности. Интересно знать величину этой разницы и от каких пере­менных она зависит.

Шаг 2. В формулу расчета коэффициента а₁ необходимо ввести параметр α₁ .

В формуле расчета коэффициента а₁

вместо У_i (фактических значений выборочной совокупности) подставим значения, вычисленные по истинной модели

,

,

где в преобразованиях использовались следующие правила:

∑ω_iα₀ = α₀ ∑ω_i (α₀ — константа и ее можно выносить за знак суммы);

∑ω_i = 0, ∑(ω_iX_i) = 1, где (доказательство этих соотношений уже приводилось).

Вывод. Выборочный коэффициент а₁

состоит из двух частей: своего истинного значения α₁ и слу­чайной составляющей, которая называется ошибкой коэф­фициента, зависящей от взаимодействия остатков ε_i с объяс­няемой переменной X_i .

Шаг 3. Вычислим математическое ожидание коэффици­ента а₁ .

,

где

M(ε_i)= 0 согласно предпосылке метода наименьших квад­ратов;

M(ε_iX_i) = M(ε_i)M(X_i), при условии, что ε_i и X_i не связаны между собой, а так как M(ε_i) = 0, то M(ε_i)M(X_i) = 0, или соглас­но предпосылке метода наименьших квадратов M(ε_iX_i) = 0.

Если ε_i и X_i будут связаны между собой, то M(ε_iX_i) ≠ M(ε_i)M(X_i) и нужны дополнительные исследования.

Примечание. При определении математического ожидания частного

мы предполагали, что математическое ожидание знаменателя не рав­но нулю, так сумма квадратов числа всегда будет положительным чис­лом, а математическое ожидание положительного числа будет тоже положительным и отличным от нуля, поэтому было корректно опреде­лять математическое ожидание числителя. В общем случае математи­ческое ожидание частного не равно математическому ожиданию чис­лителя, деленному на математическое ожидание знаменателя в слу­чаях возникновения неопределенности типа 0/0, если математическое ожидание числителя и знаменателя равно нулю.

Шаг 4. Математическое ожидание коэффициента a₁ рав­но истинному значению α₁, следовательно коэффициент a₁, определенный методом наименьших квадратов является не­смещенным.

Анализ полученного результата. Ответим на вопрос, что необходимо предпринять исследователю, чтобы уменьшить ошибку коэффициента a₁?

Ошибка коэффициента a₁ равна

Для уменьшения ошибки необходимо увеличивать зна­менатель с помощью увеличения размаха значений объясня­емого фактора X, а также уменьшать числитель с помощью подбора таких факторов, которые не связаны с возмущени­ями при каждом фиксированном значении i. Так как

.

Пример 1. При увеличении значений Х_i амплитуда воз­мущения возрастает, но математическое ожидания для каж­дого значения i равно нулю (гетероскедастичность). Как эта зависимость окажет влияние на величину

?

С увеличением Х_i возрастает амплитуда возмущения, а не математическое ожидание, следовательно Х_i и е_i не свя­заны между собой математическими ожиданиями, тогда

Следовательно при наличии гетероскедастичности коэф­фициент a₁ будет несмещенным.

Пример 2. В системах одновременных уравнений зави­симая случайная переменная может выступать как случай­ная объясняемая переменная У_i , при этом для каждого фик­сированного значения У_i математические ожидания возму­щения не равно нулю и, следовательно, имеется зависимость У_i от возмущения е_i , тогда

.

и коэффициент а₁ будет смещенным. Для устранения смеще­ния необходимо вместо случайной объясняемой переменной поставить ее теоретические значения. Для каждого фикси­рованного теоретического значения зависимой переменной (У_тi) математические ожидания возмущений равно нулю, тогда будет справедливо соотношение

∑M(ε_i У_тi)= M(ε₁ У_т1) + M(ε₂ У_т2) + …+ M(ε_n У_тn) = 0

и коэф­фициент а₁ будет несмещенным. Описанная процедура назы­вается двухшаговым методом наименьших квадратов. Более подробно об этом методе изложено при изучении систем од­новременных уравнений.

Проверим на несмещенность формулу расчета коэффи­циента а₀ , полученной методом наименьших квадратов.

Шаг 1. Уточним постановку задачи. Мы располагаем сле­дующими объектами для анализа:

1) Имеется модель зависимости У от X для генеральной совокупности

,

при соблюдении следующих ограничений:

а) М(ε_i) = 0 — при всех i;

б)

M(X_i ε_j)=0 при i=j; i≠j; i,j=1,2,…,n,

где M — математическое ожидание;

ε_i — возмущения модели;

σ_ε² — дисперсия возмущений, не зависящая от i.

2) Имеется модель зависимости У от X для выборочной совокупности

.

3) Коэффициент а₀ вычисляется по следующей формуле

.

4) Имеется гипотеза. На интуитивном уровне мы предпо­лагаем, что коэффициент a₀, вычисленный по выборочной совокупности будет отличаться от истинного параметра α₀, вычисленного для данных всей генеральной совокупности. Интересно знать величину этой разницы и от каких пере­менных она зависит.

Шаг 2. В формулу расчета коэффициента а₀ необходимо ввести параметр α₀.

В уравнении вычисления а₀ имеется коэффициент a₁, который надо заменить его формулой.

Подставим а₁

в уравнение определения а₀

.

.

В уравнении определения коэффициента а₀ имеется фак­тическое значение зависимой переменной У_i. Подставим вме­сто У_i значения, полученные по истинному уравнению

.

При этом фактические значения У_i и значения, вычис­ленные по истинному уравнению будут равны между собой.

.

Шаг 3. Вычислим математическое ожидание коэффици­ента а₀.

M(a₀) = α₀ .

Анализ условий несмещенности коэффициента а₀ полнос­тью совпадает с уже проводимым анализом коэффициента а₁ .

Шаг 4. Так как математическое ожидание коэффициен­та а₀ равно истинному значению α₀, то коэффициент а₀, оп­ределенный методом наименьших квадратов, является не­смещенным.

Выводы, полученные для коэффициента а₁ полностью распространяются на коэффициент а₀.