Основные предпосылки метода наименьших квадратов

Для классической (традиционной) линейной регрессионной модели должны выполняться следующие условия, известные как условия Гаусса-Маркова:

1. Математическое ожидание случайной составляющей в любом наблюдении должно быть равно нулю: . Иногда случайная составляющая будет положительной, иногда отрицательной, но она не должна иметь систематического смещения ни в одном из двух возможных направлений. Фактически если уравнение регрессии включает постоянный член, то обычно данное условие выполняется автоматически, так как роль константы состоит в определении любой систематической тенденции в Y, которую не учитывают объясняющие переменные, включенные в уравнение регрессии.

2. Дисперсия случайного члена должна быть постоянна для всех наблюдений: . Иногда случайный член будет больше, иногда меньше, однако не должно быть априорной причины для того, чтобы он порождал большую ошибку в одних наблюдениях, чем в других. Величина σ_ε, конечно, неизвестна, одна из задач регрессионного анализа состоит в оценке стандартного отклонения случайной составляющей.

3. В любых двух наблюдениях отсутствует систематическая связь между значениями случайной составляющей: . Если случайная составляющая велика и положительна в одном наблюдении, то это не должно обуславливать систематическую тенденцию к тому, что она будет большой и положительной в следующем наблюдении. Случайные составляющие должны быть независимы друг от друга. В силу того, что , данное условие можно записать следующим образом: .

4. Случайная составляющая должна быть распределена независимо от объясняющих переменных . В сущности используется более сильное предположение о том, что объясняющие переменные не являются стохастическими, т.е. не имеют случайной составляющей. Значение любой независимой переменной в каждом наблюдении должно считаться экзогенным, полностью определяемым внешними причинами, не учитываемыми в уравнении регрессии. Ели это условие выполнено, то теоретическая ковариация между независимой переменной и случайным членом равна нулю:

Наряду с условиями Гаусса-Маркова обычно предполагается нормальность распределения случайного члена: ~ . Дело в том, что если случайный член нормально распределен, то так же будут распределены и коэффициенты регрессии.

Предположение о нормальности основывается на центральной предельной теореме, которая утверждает, что если случайная величина является общим результатом взаимодействия большого числа случайных величин, ни одна из которых не является доминирующей, то она будет иметь приблизительно нормальное распределение, даже если отдельные составляющие не имеют нормального распределения. Случайный член определяется несколькими факторами, которые не входят в уравнение регрессии. Поэтому даже если ничего не известно о распределении этих факторов (или даже об их сущности), можно предположить, что они нормально распределены.