Линейная регрессия. Пусть (Х,Y) – двумерная случайная величина, где Х и Y – зависимые случайные величины

Пусть (Х,Y) – двумерная случайная величина, где Х и Y – зависимые случайные величины. Возможно приближенное представление величины Y в виде линейной функции величины Х:

, (2.15)

где и – параметры, подлежащие определению. Обычно эти параметры определяются методом наименьших квадратов.

Функция (2.15) называется наилучшим приближением в смысле метода наименьших квадратов, если математическое ожидание принимает наименьшее возможное значение. Функцию называют среднеквадратической регрессией Y на Х.

Теорема. Линейная среднеквадратическая регрессияY на Х имеет вид:

, (2.16)

где – коэффициент корреляции, и – математические ожидания величин Y и Х соответственно.

Коэффициент называют коэффициентом регрессии Y на Х, а прямую

,

реализующую линейную зависимость (2.16) случайной величины Y от случайной величины Х, называют прямой среднеквадратической регрессии Y на Х (линией регрессии Y на X). Поскольку зависимость (2.16) является приближенной, то существует погрешность этого приближения, называемая остаточной дисперсией:

. (2.17)

Аналогичную форму записи имеет прямая среднеквадратической регрессии Х на Y (линия регрессии X на Y):

.

Пример. Найти линейную среднюю квадратичную регрессию и остаточную дисперсию случайной величины Y на случайную величину Х по данным примера п. 2.5.5.

Решение. Для двумерной случайной величины (X,Y), приведенной в примере 2.5.5, все необходимые числовые характеристики найдены:

.

Из уравнения (2.16) получаем искомое соотношение:

или

.

Остаточная дисперсия рассчитывается по формуле (2.17):

.

Для оценки среднеквадратичной погрешности линейной регрессии обычно используют величину , в нашем случае она составляет:

.