Линейная регрессия. Если функция регрессии линейна, то говорят о линейной регрессии

или ,

где - теоретические параметры регрессии; - случайное отклонение.

По выборке ограниченного объема строится выборочное уравнение регрессии (1)

где - оценки неизвестных параметров , называемые выборочными коэффициентами регрессии, - оценка условного математического ожидания . Для величин справедлива формула

(2),где - оценка теоретического отклонения .

Построенная прямая выборочной регрессии должна наилучшим образом описывать эмпирические данные, т.е. коэффициенты должны быть такими, чтобы случайные отклонения были минимальны. Наиболее распространенным методом нахождения коэффициентов уравнения регрессии является метод наименьших квадратов (МНК).

Если по выборке требуется определить оценки выборочного уравнения регрессии (2), то вводится в рассмотрение и минимизируется функция

.

Необходимым условием существования минимума данной функции двух переменных является равенство нулю ее частных производных по неизвестным параметрам :

.

Отсюда

,

и выразив из последних соотношений коэффициенты, получим

. (3)

где введены обозначения .