Гетероскедастичность и ее последствия

ЛЕКЦИЯ 8. Гетероскедастичность

Еще раз об условиях Гаусса—Маркова

До сих пор мы предполагали, что случайный член в регрессионной модели удовлетворяет всем четырем условиям Гаусса—Маркова. Если регрессионное уравнение имеет вид:

, (8.1)

то эти условия состоят в следующем:

Е(u) = 0 для всех наблюдений;

дисперсия pop. var (u) одинакова для всех наблюдений;

pop. cov (u_i, u_j) = 0, при i ≠ j;

объясняющая переменная является неслучайной

(так что pop. cov (x_i, u_i) = 0 для каждого наблюдения),

где u_i и x_i — значения u и х в i -м наблюдении.

Если регрессия не парная, а мно­жественная, то условия будут те же самые с тем различием, что последнему из них должна удовлетворять каждая объясняющая переменная. Если не принимать во внимание особые случаи, первое условие по сути является частью определения, если постоянный член включен в уравне­ние. В этой лекции мы рассмотрим второе условие.

Гетероскедастичность и ее последствия

Во втором условии Гаусса—Маркова утверждается, что дисперсия случай­ного члена в каждом наблюдении должна быть постоянной. Такое утвержде­ние может показаться странным, и здесь требуется пояснение. Случайный член в каждом наблюдении имеет только одно значение, и может возникнуть воп­рос о том, что означает его «дисперсия».

Имеется в виду его возможное поведение до того, как сделана выборка. Когда мы записываем модель (8.1), первые два условия Гаусса—Маркова указыва­ют, что случайные члены u₁, u₂,..., u_n в n наблюдениях появляются на основе вероятностных распределений, имеющих нулевое математическое ожидание и одну и ту же дисперсию. Их фактические значения в выборке иногда будут по­ложительными, иногда — отрицательными, иногда — относительно далекими от нуля, иногда — относительно близкими к нулю, но у нас нет причин a’priori ожидать появления особенно больших отклонений в любом данном наблюде­нии. Другими словами, вероятность того, что величина и примет какое-то дан­ное положительное (или отрицательное) значение, будет одинаковой для всех наблюдений. Это условие известно как гомоскедастичность, что означает «оди­наковый разброс». Оно проиллюстрировано в левой части рис. 8.1.

Вместе с тем для некоторых выборок, возможно, более целесообразно пред­ положить, что теоретическое распределение случайного члена является разным для различных наблюдений в выборке. В правой части рис. 8.1 дисперсия вели­чины u_i увеличивается по мере продолжения выборочных наблюдений. Это не означает, что случайный член обязательно будет иметь особенно большие (по­ложительные или отрицательные) значения в конце выборки, но это значит, что априорная вероятность получения сильно отклоненных величин будет от­носительно высока. Это пример гетероскедастичности, что означает «неодина­ковый разброс». Математически гомоскедастичность и гетероскедастичность могут определяться следующим образом:

Гомоскедастичность: pop. var (u_i) = σ² постоянна для всех наблюдений;

Гетероскедастичность: pop. var (u_i) = σ_i², она не обязательно одинакова для всех i.

На рис. 8.2 показано, как будет выглядеть характерная диаграмма рассеяния, если у — возрастающая функция от х и имеется гетероскедастичность типа, показанного на рис. 8.1. Можно видеть, что, хотя наблюдения не обязательно все дальше отстоят от основной нестохастической составляющей линии рег­рессии , по мере роста х все же имеется тенденция к увеличению их разброса. (Следует иметь в виду, что гетероскедастичность не обязательно от­ носится к типу, показанному на рис. 8.1. Данное понятие относится к любому случаю, в котором дисперсия вероятностного распределения случайного чле­на различна для разных наблюдений.)

Гомоскедастичность Гетероскедастичность

Наблюдение 1

Наблюдение 2

……………………………………………………………..

Наблюдение n

Рис. 8.1. Различия между гетероскедастичностью и гомоскедастичностью

Возникает вопрос, почему гетероскедастичность имеет существенное зна­чение. В самом деле, соответствующее условие Гаусса—Маркова пока не ис­пользовалось в проводимом анализе, и оно может показаться практически не нужным. В частности, при рассмотрении простой модели (8.1) и оцененного уравнения

, (8.2)

в доказательстве того, что b является несмещенной оценкой β и а — несме­щенной оценкой α, это условие не использовалось. Это объясняется двумя причинами. Первая касается дисперсии оценок а и b. Желательно, чтобы она была как можно меньше, т.е. (в вероятностном смысле) обеспечивала максимальную точность. При отсутствии гетероскедастичности обычные коэффициенты регрессии имеют наиболее низкую дисперсию среди всех несмещенных оценок, являющихся линейными функциями от на­блюдений у. Если имеет место гетероскедастичность, то оценки МНК, кото­рые мы до сих пор использовали, неэффективны. Можно, по меньшей мере, в принципе, найти другие оценки, которые имеют меньшую дисперсию и, тем не менее, являются несмещенными.

Рис. 8.2. Модель с гетероскедастичным случайным членом

Вторая, не менее важная причина заключается в том, что сделанные оценки стандартных ошибок коэффициентов регрессии будут неверны. Они вычисля­ются на основе предположения о том, что распределение случайного члена гомоскедастично; если это не так, то они неверны. Вполне вероятно, что стан­дартные ошибки будут занижены, а следовательно, t-статистика — завышена, и будет получено неправильное представление о точности оценки уравнения рег­рессии. Возможно, вы решите, что коэффициент значимо отличается от нуля при данном уровне значимости, тогда как в действительности это не так.

Свойство неэффективности можно легко объяснить интуитивно. Предполо­жим, что имеется гетероскедастичность типа, показанного на рис. 8.1 и 8.2. Наблюдение, для которого теоретическое распределение случайного члена имеет малое стандартное отклонение (как в наблюдении 1 на рис. 8.1), будет обычно находиться близко к линии регрессии и, следовательно, может стать хорошим направляющим ориентиром, указывающим место этой линии. В про­тивоположность этому наблюдение, где теоретическое распределение имеет большое стандартное отклонение (как в наблюдении n на рис. 8.1), не сможет существенно помочь в определении местоположения линии регрессии. Обыч­ный МНК не делает различия между качеством наблюдений, придавая одина­ковые «веса» каждому из них независимо от того, является ли наблюдение хо­рошим или плохим для определения местоположения этой линии. Из этого сле­дует, что, если мы сможем найти способ придания большего «веса» наблюде­ниям высокого качества и меньшего — наблюдениям низкого качества, мы, вероятно, получим более точные оценки. Другими словами, оценки для α и β будут более эффективными. О том, как это делается, пойдет речь в пункте 8.4.