Вероятностная трактовка метода наименьших квадратов

Популярность МНК связана не только с простотой расчёта параметров моделей, но и с возможностью его вероятностного обоснования как, при определённых условиях, наилучшего метода определения параметров. Подобное обоснование позволяет также оценить точность получаемых моделей.

В вероятностной трактовке МНК предполагается, что существует зависимость между и вида , отражающая связь между и лишь в среднем или, более конкретно, , т.е. зависимость представляет собой условное математическое ожидание выхода модели при значениях входов . В отличие от функциональных зависимостей такие зависимости называются регрессионными. Задача МНК при этом заключается в нахождении оценок параметров а регрессионных моделей.

…(47), существуют два основных источника неточностей экспериментально-статистических моделей, проявляющихся в том, что

(4.27)

1) Искажение формы истинной зависимости. Оно, например, происходит из-за неполной достоверности гипотез, принятых для описания моделируемых явлений. Так, при отсутствии точных представлений о гладкости идентифицируемых зависимостей, приближая их линейной формой или формой второго порядка, что, разумеется, сопряжено с погрешностями.

2) Факторы неопределённости в результатах измерений. Имеется два основных источника неопределённости:

a) Случайные ошибки измерений;

b) Наличие неучтённых или (и) неконтролируемых факторов, влияющих случайным образом на y помимо x.

Допущения, которые кладутся в основу вероятностного обоснования МНК, предполагают отсутствие искажения формы модельной (регрессионной) зависимости, т.е. предполагается, что существуют значения параметров а, называемые истинными, такие, что при отсутствии факторов неопределённости зависимость точно описывает функциональную связь между x и y для всех наблюдаемых значений x.

Кроме того, делается ряд допущений относительно случайных отклонений экспериментальных данных от истинных значений , а именно: считается независимыми (для разных i) нормально распределёнными случайными величинами с нулевым мат ожиданием и одинаковыми i хотя, как правило, заранее не известными, дисперсиями .

При выполнении этих допущений МНК – оценки, а обладает следующими важными свойствами:

1) Несмещённость, т.е. (при любом конечном N оценка МНК не даёт систематического сдвига оценок по отношению к истинным значениям параметров модели);

2) Состоятельность, т.е. (т.е. оценки МНК сходятся к истинным значениям параметров модели при увеличении числа наблюдений /экспериментов/).

Здесь необходимы пояснения. Рассмотрим корреляционную матрицу оценок , являющуюся мерой отклонения оценок от истинных значений параметров (диагональные элементы этой матрицы).

(4.27)

Равны дисперсиям /или квадратам СКО/ отклонений .

Тогда можно показать, что

, (4.28)

Если допустить, что существует

, (4.29)

То (4.30)

а значит (4.31)

В частности, отсюда следует, что

(4.32)

где

и что (4.33)

3) Эффективность, т.е. МНК – оценки точнее всех других оценок параметров (при сделанных допущениях: нормальное распределение и взаимная независимость измерительных ошибок , отсутствие априорной информации об оцениваемых параметрах). Более конкретно,

(МНК) (Любой другой способ оценивания)

(4.34)