Свойства МНК-оценок

Оценка не только минимизирует сумму взвешанных квадратичных отклонений S(), но и обладает рядом других свойств.

Несмещенность.

Оценка параметра называется несмещенной, если ее математическое ожидание равно оцениваемому (истинному) значению параметра.

Если - МНК-оценка, то можно доказать, что

,

т.е. -несмещенная оценка.

Это означает, что если сделать 100 экспериментов и определить Е(), то при несмещенной оценке среднее значение Е() будет стремиться к . Несмещенность оценки позволяет получить еще один практически очень важный вывод:

Согласно неравенству Чебышева для случайной величины z с любым законом распределения справедливы соотношения:

или

где >0- произвольное число,

- дисперсия случайной величины z.

Если оценка несмещенная, то -мала, следовательно малы члены .

Т.е. при малой дисперсии , т.е. при несмещенной оценке, с большой вероятностью мало отличается от .

Отсюда можно сделать вывод:

Если сделать один эксперимент (а не 100), и получить несмещенную оценку , то она с большой вероятностью мало отличается от .

2. Состоятельность.

Оценка параметра состоятельна, если при увеличении объема выборки она стремится к истинному значению параметра. Можно показать, что МНК-оценка ,полученная в результате N-измерений, будет состоятельной, т.е. при вероятность того, что длина вектора , т.е. этого не будет.

Отсюда вывод: в рамках одного эксперимента целесообразно увеличивать количество измерений N, т.к. при состоятельной оценке(а МНК-оценка состоятельна), она стремится при росте N к истинному значению.

3. Наилучшая линейнаянесмещеннаяоценка. (НЛН-оценка).

Любую оценку вектора будем называть линейной, если она определяется через вектор измеряемой величины. То есть линейная оценка записывается , где Т ‑ какая-либо матрица.
Т.е. ‑ есть линейная комбинация измеренных значений.

Обозначим через ą ‑ множество всех возможных несмещенных оценок вектора . (ą – а готическое)

Оценка из ą называется наилучшей линейной несмещенной оценкой вектора , если (*)

Здесь -любая оценка из ą.

и - дисперсионная (ковариационная) матрица случайного вектора и , каждый элемент которой d_ij определяется выражением:

(1.19)

Диагональные элементы матрицы и -это дисперсии координат вектора .

(1.20)

Замечания к формуле (*):

Матричное неравенство А В, где А и В-матрицы размерности ,означает, что для любого вектора размерности m выполняется неравенство:

Условие (*) не очень наглядно. Однако из него вытекают следующие полезные свойства НЛН-оценок:

а) (1.21)

Т.е. дисперсия каждой из координат вектора НЛН-оценки является наименьшей по сравнению с дисперсией той же координаты произвольной линейной несмещенной оценки. Значит, в силу неравенства Чебышева для НЛН-оценки (как обладающей минимальной дисперсией) увеличивается вероятность того, что отличается по модулю от меньше, чем на .

б) (1.22)

Т.е. определитель дисперсионной матрицы НЛН-оценки также будет наименьшим.

При нормальном законе распределения случайной величины определитель дисперсионной матрицы выражает объем эллипсоида в m-мерном пространстве параметров . Его центр находится в точке , а внутри эллипсоида с заданной вероятностью располагается оценка . Чем меньше определитель, тем плотнее примыкают оценки к истинному значению.

Можно показать, что МНК-оценки являются одновременно и НЛН-оценками, т. е.

4. Эффективность.

Оценка эффективна, если она характеризуется наименьшей дисперсией. Т. к. МНК-оценка является НЛН-оценкой, то в соответствии с (*) она обладает наименьшей дисперсией.

Таким образом, НЛН-оценки и МНК-оценки эффективны в классе линейных несмещенных оценок.

5. Дисперсионная матрица совпадает с матрицей, обратной информационной матрице Фишера.

=М^-1

6. Наилучшей линейной оценкой поверхности отклика является регрессионная модель, в которой коэффициенты получены методом наименьших квадратов, т. е. с помощью МНК-оценок.

В этом случае дисперсия поверхности отклика:

Функция называется коридором ошибок. Она характеризует разброс МНК-оценок (НЛН) поверхности отклика от ее истинных значений.