Выбор уравнения регрессии

После того, как установлено наличие связи между переменными строится, так называемое, корреляционное поле. Определяется эмпирическая линия регрессии. Выводится уравнение теоретической линии регрессии. Предположим, что в результате корреляционного анализа установлено равенство коэффициента корреляции корреляционному отношению. В этом случае вопрос решается простой подстановкой рассчитанных в процессе корреляционного анализа данных в уравнение (7.1). В случае, если такого равенства не наблюдается, необходим поиск криволинейной связи. Наиболее часто наблюдающейся в различных технических приложениях формой криволинейной связи является параболическая связь, выражающаяся уравнением параболы n –го порядка:

_x = a + bx² + cx³ +...

Задача заключается в поиске численных значений коэффициентов уравнения a,b,c,.... Метод, с помощью которого определяются коэффициенты уравнения, носит название метода наименьших квадратов.

Рассмотрим общую постановку вопроса. Пусть из каких либо соображений выбран общий вид функции Y = f (x), зависящий от нескольких числовых параметров a,b,c,...; именно эти параметры и требуется выбрать согласно методу наименьших квадратов так, чтобы сумма квадратов отклонений y_i от f (x) была минимальна. Запишем y как функцию не только аргумента х, но и параметров a,b,c,...:

y = f (x;a,b,c,...).

Требуется выбрать a,b,c,... так, чтобы выполнялось условие:

[ y_i – f (x;a,b,c,...) ]² = min (7.2)

Найдем значения a,b,c,...,обращающие левую часть выражения (7.2) в минимум. Для этого продифференцируем eго по a,b,c,... и приравняем производные нулю:

[ y_i –f (x;a,b,c,...) ] ( f / a)_i = 0;

[ y_i –f (x;a,b,c,...) ] ( f / b)_i = 0; (7.3)

[ y_i –f (x;a,b,c,...) ] ( f / c)_i = 0;

где ( f / a)_i = f^/ (x;a,b,c,...) – значение частной производной функции f по параметру а в точке х_i;

( f / b)_i, ( f / c)_i,...- аналогично.

Система уравнений (7.3) содержит столько же уравнений, сколько неизвестных a,b,c,....

Решить систему (7.3) в общем виде нельзя; необходимо задаться конкретным видом функции f(x). Рассмотрим простейший случай нелинейной зависимости, когда корреляционная связь выражается уравнением параболы второго порядка:

_x = ax ² + bx + c. (7.4)

дифференцируя выражение (7.4) по a,b,c, получим:

( f / a)_i = x _; ( f / b)_i = x _i; ( f / c)_i = 1.

Подставляя производные в систему уравнений (7.3) имеем:

[ _x – (ax² + bx + c) ] ² x = 0,

[ _x – (ax² + bx + c) ] ² x _i= 0,

[ _x – (ax² + bx + c) ] ² = 0,

После несложных преобразований получим систему уравнений:

x _x = a x + b x + c x ,

x _{i x} = a x + b x + c x _i, (7.5 )

_x = a x + b x _i+ cn,

Решение системы уравнений (7.5) дает значение

коэффициентов a, b, c.