Свойства оценок, полученных методом наименьших квадратов

Для того, чтобы полученные методом наименьших квадратов оценки обладали желательными свойствами делаются следующие предположения об отклонениях ε_i:

1. Величина ε_i – случайная переменная;

2. Математическое ожидание ε_i равно 0;

3. Дисперсия ε_i постоянна для всех i-тых ε;

4. Значения ε_i не зависимы между собой.

Известно, что если условия (1-4) выполняются, то оценки, вычисляемые с помощью МНК (метода наименьших квадратов) обладают следующими свойствами:

1. Оценки являются несмещенными, то есть математическое ожидание оценки каждого параметра равно его истинному значению. Это вытекает из того, что математическое ожидание ошибки равно 0 и говорит об отсутствии системной ошибки в определении положения линии регрессии.

2. Оценки состоятельны, так как дисперсия оценок параметров при росте числа наблюдений стремится к 0. Иначе говоря, если n достаточно велико, то практически наверняка растет надежность оценки параметров а_j.

3. Оценки эффективны, то есть имеют наименьшую дисперсию по сравнению с любыми другими оценками данных параметров.

Перечисленные свойства не зависят от конкретного вида распределения величины e, тем не менее, обычно предполагается, что они распределены нормально. Эта предпосылка необходима для проверки статистической значимости сделанных оценок и определения для них доверительных интервалов. При ее выполнении оценки МНК имеют наименьшую дисперсию не только среди линейных, но и среди всех несмещенных оценок.

Вопросы и упражнения

1. Что называется корреляционной зависимостью функции у от аргумента х?

2. Какие предпосылки делаются относительно результативного признака в уравнении регрессии?

3. Что такое «несовместная система алгебраических уравнений»?

4. В чем состоит принцип наименьших квадратов?

5. Из каких трех основных этапов состоит метод наименьших квадратов?

6. Каким условиям должны удовлетворять отклонения теоретически (по уравнению регрессии) вычисленных значений результирующего показателя от их фактических значений в статистической совокупности?

7. Что означает, применительно к уравнению регрессии, выражения: «оценки несмещенные», «оценки состоятельные», «оценки эффективные»?