Линейная регрессия. Прямые линии среднеквадратической регрессии

Пусть даны две случайные величины (X, Y), где X и Y зависимые. Предположим, что одна величина может быть выражена через другую величину линейно, т.е. представим случайную величину Y как линейную функцию от Х:

Y» g (X) = a + b*X.

Найдем коэффициенты a и b, используя метод наименьших квадратов.

Функция g(X) = a + b*X, называется наилучшим приближением случайной величины Y. Для того, чтобы эта функция давала более точное приближение, достаточно, чтобы математическое ожидание отклонения квадрата случайной величины Y от данной функции было бы наименьшим:

M(Y – a – b*X)².

Функцию g (X) называют среднеквадратической регрессией случайной величины Y на X.

Теорема: Линейная среднеквадратическая регрессия случайной величины Y на X имеет следующий вид:

, где .

Доказательство: Рассмотрим функцию от двух переменных равную:

.

Данную функцию можно представить в виде:

Исследуя данную функцию F(a,b) на экстремум, вычислим частные производные первого порядка и приравняем их к нулю:

Решая, получим:

F(a, b) имеет наименьшее значение, тогда получим, что

,

, что и требовалось доказать.

Коэффициент, равный , называют коэффициентом регрессии случайной величины Y на X, а прямую

прямой среднеквадратической регрессии случайной величины Y на случайную величину X.

Если в F(a, b) подставить найденные коэффициенты, то получим наименьшее значение данной функции

которое называется остаточной дисперсией Y относительно X, и которая характеризует величину ошибки, которая допускается при замене случайной величины Y на g (X).

Если коэффициент корреляции , то F(a,b) = 0 и ошибка не возникает. Это значит, что X и Y связаны функциональной линейной зависимостью.

Аналогично можно получить прямую среднеквадратической регрессии случайной величины X на Y. Она имеет вид:

.

Обе прямые среднеквадратической регрессии Y на X и X на Y пересекаются в точке с координатами (m_x, m_y), которая называется центром совместного распределения случайных величин X, Y.

Если коэффициент r = ± 1, то прямые регрессии будут совпадать.