Метод наименьших квадратов – сущность и использование для оценки параметров парной линейной регрессии

Решение парного линейного уравнения регрессии сводиться к нахождению его параметров a и b. Если мы имеем некоторое количество наблюдений, то в качестве грубого приближения можно отложить имеющиеся точки в системе координат и построить прямую, максимально приближенную к ним. Отрезок, отсекаемый прямой на оси у, представляет собой оценку а, а угловой коэффициент прямой представляет собой оценку b. При этом необходимо иметь ввиду, что истинные значения параметров таким образом рассчитать никогда не получится. Фактически можно получить только лишь оценки параметров. Иногда оценки могут быть абсолютно точными, но это возможно лишь в результате случайного совпадения.

В решении этой задачи широкое распространение получил метод наименьших квадратов (МНК), его сущность фактически заключается в оценке этих параметров

Суть. Метод наименьших квадратов дает несмещенные и эффективные оценки параметров уравнения регрессии.

Первым шагом является определение остатка е = (у - ), как разность между фактическим значением и расчетным для каждого наблюдения. За исключением случаев чистого совпадения, построенная линия регрессии не пройдет точно ни через одну точку наблюдения.

Очевидно, что мы хотим иметь такую линию регрессии, чтобы эти остатки (отклонения расчетных значений от фактических) были минимальными. При этом бесполезно минимизировать сумму остатков. Сумма будет автоматически равна нулю, если сделаеть равным , а равным нулю, получив горизонтальную линию . В этом случае положительные остатки точно уравновесят отрицательные, но строгой зависимости при этом не будет.

Решением поставленной проблемы является минимизации суммы квадратов остатков отклонений фактических значений результативного признака (у) от расчетных (теоретических): .

Эта сумма будет зависеть от выбора а и b, так как они определяют положение линии регрессии. В соответствии с этим критерием, чем меньше сумма квадратов отклонений, тем строже соответствие. Если она равна, то получено абсолютно точное соответствие, так как это означает, что все остатки равны нулю. В этом случае линия регрессии будет проходить через все точки, однако, вообще говоря, это невозможно из-за наличия случайного члена.

Таким образом построение уравнения регрессии с помощью МНК требует выполнения 2-х условий:

1 было рассмотрено выше: сумма квадратов отклонений остатков фактических значений результативного признака (у) от расчетных (теоретических) должна быть минимальна;

2 требованием применения МНК является максимальное значение коэффициента детерминации, то есть величина объясненной вариации в общей должна быть максимальна:

Параметры уравнения регрессии находятся по формулам, при этом минимальна.

,