Вычисление дисперсии коэффициентов а1 и а0

Вычислим дисперсию коэффициента а₁ .

Для оценки параметра α₁ имеем:

a₁ = α₁ +∑(ω_i ε_i).

Дисперсию коэффициента а₁ относительно параметра α₁ можно вычислить по формуле

где ; М(ε_iε_j)=0, при i≠j, .

Окончательно получим дисперсию коэффициента a₁

.

Вычислим дисперсию коэффициента а₀.

Для оценки параметра α₀ имеем:

;

Дисперсию коэффициента а₀ относительно своего пара­метра α₀ вычислим по следующей формуле

где

Для получения преобразования

было использовано следующее соотношение:

Окончательно получим дисперсию коэффициента а₀:

Дисперсии коэффициентов а₀ и а₁ содержат дисперсию случайной составляющей σ_ε², которую необходимо оценить с помощью выборочных данных.

Оценка дисперсии случайной составляющей σ_ε²

Правдоподобной выглядит попытка оценить дисперсию возмущающей составляющей σ_ε² путем возведения в квадрат и последующего усреднения отклонений наблюдаемых зна­чений от линии, полученной методом наименьших квадратов.

По выборочным данным определим зависимость У от X с помощью уравнения регрессии

. (3.1)

Коэффициенты а₀ и а₁ определим методом наименьших квадратов, при этом справедливо соотношение (см. первое уравнение нормальных систем уравнений)

. (3.2)

Вычтем из (3.1) уравнение (3.2), получим уравнение рег­рессии, с преобразованными переменными

,

. (3.3)

Известно, что зависимость У от X для данных всей гене­ральной совокупности определяется по уравнению регрессии

.

Применим это уравнение к выборочным данным и полу­чим равенство

. (3.4)

Применим его к выборочным данным, усредним по всем n значениям нашей выборки и получим выражение

. (3.5)

При этом среднее значение , так как параметры α₀, α₁ вычислялись по данным генеральной совокупности, а не по выборочным данным.

Из уравнения (3.4) вычтем уравнение (3.5), получим вы­ражение

.

Подставим его в уравнение (3.3) и получим выражение

.

Возведем в квадрат е_i и просуммируем по всем n значе­ниям выборочной совокупности.

.

Возьмем математическое ожидание для левой и правой части этого уравнения.

Правая часть уравнения состоит из трех составляющих, математические ожидания которых вычислим по отдельнос­ти, а затем соберем их вместе.

Определим математическое ожидание первой составля­ющей дисперсии остатков выборочной совокупности:

.

Так как .

Определим математическое ожидание второй составля­ющей дисперсии остатков выборочной совокупности:

Полученные преобразования выполнялись по следующим шагам:

Шаг 1. Необходимо разложить выражение на составляющие части.

.

Докажем справедливость этого разложения на привыч­ных данных

Вывод завершен.

Шаг 2. Возьмем математическое ожидание от получен­ного разложения

.

Используя свойство математического ожидания М(Х+У) = М(Х)+М(У) продолжим преобразования

.

В полученном выражении имеется две составляющие: и , которые преобразуем по отдельности.

Шаг 3. Преобразование

.

Так как согласно предпосылкам метода наи­меньших квадратов.

Шаг 4. Преобразование .

Так как и , согласно предпосылкам метода наименьших квадратов.

Шаг 5. Соединим вместе преобразования , и получим конечный результат

Определим математическое ожидание третьей составля­ющей дисперсии остатков выборочной совокупности:

Преобразования выполнялись по следующим шагам.

Шаг 1. Определим значение (a₁ – α₁)

Так как

то , подставим найденное вы­ражение в исходную формулу и продолжим преобразования.

Шаг 2.

В полученном выражении , так как согласно свойствам среднего значения. Упрос­тим выражение и перейдем к шагу 3.

Шаг 3.

Возведем в квадрат повторяющийся множитель и перей­дем к шагу 4.

Шаг 4.

Шаг 5. Возьмем математические ожидания для числите­ля и знаменателя.

В знаменателе имеется выражение , которое состоит из фиксированных значений, поэтому его математи­ческое ожидание равно этому же значению.

.

В числителе имеется случайное возмущение ε_i , поэтому математическое ожидание найти будет гораздо сложнее.

Так как и , согласно предпосылкам метода наименьших квадратов.

Шаг 6. Подставим математическое ожидание в исходное выражение и получим

Соберем вместе все составляющие математического ожидания дисперсии остатков выборочной совокупности.

.

Если мы определим дисперсию случайного возмущения с помощью формулы

, то S² будет несмещенной оценкой истинного значения σ_ε² .

Проверка эффективности.

Далее установим, что оценки, полученные методом наи­меньших квадратов, являются эффективными и представля­ют собой наилучшие линейные несмещенные оценки, т. е. что в классе всех линейных несмещенных операторов оцени­вания оценки наименьших квадратов обладают наименьшей дисперсией.

Шаг 1. Постановка задачи. Известно, что коэффициент a₁, определенный по методу наименьших квадратов, вычис­ляется по формуле

,

где .

Введем произвольную линейную оценку параметра α₁ как

,

где c_i = ω_i + d_i;

d_i — произвольные константы.

Необходимо:

• для корректности выводов потребовать от нового ко­эффициента а_н1, чтобы он был несмещенной оценкой пара­метра α₁;

• найти дисперсии коэффициентов а_н1 и а₁;

• сравнить дисперсии коэффициентов а_н1 и а₁;

• проверить вывод: если дисперсия коэффициента а_н1 будет больше дисперсии коэффициента а₁ то коэффициент а₁ будет эффективным, т. е. в классе всех линейных несме­щенных операторов оценивания оценки наименьших квадра­тов обладают наименьшей дисперсией.

Шаг 2. Выполнение условий несмещенности коэффици­ента а_н1.

Для того, чтобы а_н1 была несмещенной оценкой парамет­ра α₁ константы d_i должны удовлетворять некоторым свой­ствам.

Подставим в выражение для а_н1

,

вместо У_i выражение

и произведем несложные преобразования

где , так как ∑ α_i = 0.

Для того, чтобы коэффициент а_н1 был несмещенной оцен­кой параметра α₁ необходимо, чтобы математическое ожида­ние а_н1 равнялось параметру α₁. Следовательно, должно вы­полняться равенство

где c_i и ε_i не связаны между собой.

Поэтому

.

Так как M(ε_i) = 0 согласно предпосылкам метода наи­меньших квадратов, то

.

Полученное выражение

будет справедливым при всех а₀, а₁ только в том случае, если выполняются условия

∑c_i = 0, ∑c_i X_i =1.

Учитывая следующие свойства весовых коэффициентов c_i и ω_i :

c_i = ω_i + d_i;

;

;

∑c_i = ∑ω_i + ∑d_i;

получим ограничения на значения d_i

∑d_i = 0, так как только при ∑d_i = 0 будет соблюдаться условие ∑c_i = 0,

где ∑c_i = ∑ω_i + ∑d_i = 0 + ∑d_i =0;

, так как только при будет выпол­няться условие

,

где , при соблюдении условия .

Вывод. Коэффициент а_н1 будет несмещенной оценкой па­раметра б₁, если константы d_i будут обладать следующими свойствами

,

.

Шаг 2. Определим ошибку коэффициента а_н1.

Определим коэффициент а_н1

,

где , — согласно условий несмещенности коэффициента а_н1.

Вывод. Ошибка коэффициента а_н1 равна

.

Шаг 3. Определим математическое ожидание дисперсии коэффициента а_н1. Дисперсия произвольной линейной несме­щенной оценки а_н1будет равна

.

В полученном выражении

,

где

так как по условиям несмещенности а_н1 должны выполнять­ся условия:

,

.

Продолжим получение дисперсии а_н1 с учетом получен­ных ограничений на

.

так как .

Окончательно получаем .

Вывод. Дисперсия коэффициента а_н1 равна дисперсии ко­эффициента а₁ плюс случайная составляющая, равная .

Шаг 4. Анализ дисперсии а_н1.

В полученном выражении дисперсии а_н1

будет обязательно положительной и превратится в нуль, если все d_i будут равны нулю. Следовательно, диспер­сия коэффициента а_н1 будет больше или равна дисперсии коэффициента а₁.

Вывод. Оценки наименьших квадратов обладают наимень­шей дисперсией в классе всех линейно несмещенных оценок. Аналогичный результат получается при рассмотрении Var(a₀).

Проверка состоятельности.

Докажем состоятельность оценок параметров модели, определенных методом наименьших квадратов.

Выпишем дисперсии коэффициентов а₀ и а₁.

,

,

Преобразуем полученные выражения таким образом, чтобы они содержали в знаменателе объем выборки, а все остальные переменные при увеличении выборки стремились к постоянной величине.

,

где — среднее значение квадратов переменной X;

— среднее значений квадратов отклонений .

При увеличении выборки такие переменные, как σ_ε², , будут стремиться к своему конечному математичес­кому ожиданию, а так как объем выборки n стоит в знамена­теле, то с его увеличением дисперсия коэффициента а₀ бу­дет стремиться к нулю и тем ближе выборочный коэффици­ент а₀ будет находиться около своего математического ожи­дания а₀.

Следовательно, условия состоятельности для коэффици­ента а₀ выполняются.

Произведем аналогичные преобразования для дисперсии коэффициента а₁

,

где — среднее значений квадратов отклонений .

При увеличении объема выборки n такие переменные, как σ_ε², будут стремиться к своему конечному мате­матическому ожиданию, а так как объем выборки n стоит в знаменателе, то с его увеличением дисперсия коэффициен­та а₁ будет стремиться к нулю и тем ближе выборочный ко­эффициент а₁ будет находиться около своего математичес­кого ожидания α₁.

Следовательно, условия состоятельности для коэффици­ента а₁ выполняются.

Общий вывод. Если соблюдаются предпосылки метода наименьших квадратов, то коэффициенты а₀ а₁ , вычисленные с помощью этого метода, будут несмещенными, состоятельными и эффективными.

Примечание. Мы намеренно приводим подробный вывод всех формул по двум причинам: первая – научить студентов проводить доказательства; вторая – при выводе формул необходимо учитывать много нюансов, которые в учебной литературе не всегда расшифровываются. При первом чтении можно ограничиться только выводами, но постепенно надо изучать обоснованность всех формул. В последних публикациях по эконометрике приводятся более компактные выводы [23].