Оценка параметров парной регрессионной модели методом наименьших квадратов (15 баллов)

Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) минимальна:

Для того чтобы найти минимум функции, надо вычислить частные производные по каждому из параметров a и b и приравнять их к нулю. Тогда мы получаем следующую систему нормальных уравнений для оценки параметров a и b

Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:

Эта формула получена из первого уравнения системы, если все его члены разделить на n:

, где cov(x,y) — ковариация признаков; σх2— дисперсия признака х. Поскольку , получим следующую формулу расчета оценки параметра b

Таким образом:

Свойство несмещенностиоценок состоит в том, что математическое ожидание оценки должно быть равно истинному значению параметра.

Свойство состоятельностиоценок состоит в том, что с увеличением наблюдений оценка становится более надежной в вероятностном смысле.

Оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с любыми другими оценками этого параметра в классе выбранных процедур.