Регресія

Якщо ми знаємо розподіл однієї координати випадкового вектора при умові, що інша координата приймає певне значення, то можна ввести поняття умовного математичного сподівання.

Означення 1. Умовним математичним сподіванням M (Y/X=x) випадкової величини Y при умові, що випадкова величина X=x, називається число, яке знаходиться за формулою

(4)

Аналогічно визначається умовне математичне сподівання M (X/Y=y).

При зміні x, взагалі кажучи, змінюється умовне математичне сподівання M (Y/X=x), яке можна розглядати у цьому випадку як функцію x:

M (Y/X=x) =g (x).

Ця функція називається регресією Y на X (Y відносно X), а її графік y=g (x) – лінією регресії Y на X.

Аналогічно визначається регресія X на Y і лінія регресії X на Y:

M (X/Y=y) =h (y), x=h (y).

Випадкові величини X та Y називаються лінійно корельованими, якщо лінії регресії є прямими. Рівняння цих прямих такі:

(5)

Зміст регресії Y на X полягає у тому, що функція g (X) є найкращим наближенням до випадкової величини Y. Це означає, що для довільної функції v (X) виконується співвідношення:

M [ Y–v (X)]² ³ M [ Y–g (X)]².

Якщо лінія регресії Y на X (X на Y) не є прямою, можна використати першу (другу) із прямих регресії (5) в якості наближення до істинної лінії регресії. У цьому випадку ця пряма називається прямою наближеної регресії. У зв’язку з цим відзначимо, що функція (функція ) є найкращим наближенням до Y (до X) серед усіх лінійних функцій випадкової величини X (випадкової величини Y).

Зауважимо, що координати випадкового вектора, розподіленого за законом Гауса (формула (9) розділу 2.2), лінійно корельовані.

Кутові коефіцієнти b _Y/X і b _X/Y прямих регресії (5) називаються відповідно коефіцієнтами регресії Y на X та X на Y. При цьому

(6)

Прямі регресії (5) проходять через точку з координатами (MX; MY). При | r_X,Y | = 1 прямі регресії співпадають, а при r_X,Y= 0 – паралельні осям координат.

У якості міри розсіювання випадкової величини Y відносно регресії g (X) (Y на X) розглядають кореляційне відношення

. (7)

Із (7) випливають такі властивості кореляційного відношення:

1) ;

2) = 1 тоді і тільки тоді, коли між випадковими величинами X та Y є функціональна залежність Y=g (X);

3) = 0 тоді і тільки тоді, коли g (X) =MY, тобто лінія регресії є горизонтальною прямою і, таким чином, випадкові величини X та Y є некорельованими.

Взагалі кажучи, .

Приклад 1. В умовах прикладу 1 пункту 2.2.3 знайти лінії регресії Y на X та X на Y.

Розв’язок. На підставі (4) (нижній рядок) одержимо:

Таким чином, лініями регресії є прямі y= (1+ x) / 2 (Y на X) і x= (2 / 3)· y (X на Y) (мал.3.5).

Приклад 2. Випадковий вектор має такі числові характеристики: MX= 1, DX= 4, MY= 2, DY= 9, r_{X , Y}= 0.8. У даному випробуванні випадкова величина мала значення X= 1.3. Яке математичне сподівання випадкової величини Y?

Розв’язок. Скористаємося рівнянням прямої наближеної регресії Y на X (5):

.

Підставляючи в це рівняння x= 1.3, одержимо y= 2.36. Таким чином, M (Y/X= 1.3)»2.36.