Числовые характеристики системы двух случайных величин. -мерный случайный вектор

ЦЕЛЬ ЛЕКЦИИ: определить числовые характеристики системы двух случайных величин: начальные и центральные моменты, ковариацию, коэффициент корреляции и регрессию; описать двумерное нормальное распределение; сформулировать закон распределения и найти числовые характеристики -мерного случайного вектора; вывести плотность распределения многомерного гауссова распределения.

Начальные и центральные моменты

Обычно рассматривают в качестве числовых характеристик системы случайных величин начальные и центральные моменты различных порядков.

Начальным моментом порядка системы двух случайных величин называется математическое ожидание произведения на :

. (5.17)

Центральным моментом порядка системы двух случайных величин называется математическое ожидание произведения на :

, (5.18)

где , – центрированные случайные величины.

Для системы дискретных случайных величин

; ,

а для системы непрерывных случайных величин

;

.

Порядок моментов определяется суммой индексов .

Начальные моменты первого порядка – это математические ожидания случайных величин и :

; .

Отметим, что точка представляет собой характеристику положения случайной точки , и разброс возможных значений системы случайных величин происходит вокруг этой точки.

Центральные моменты первого порядка равны нулю: .

Начальные моменты второго порядка:

;

;

. (5.19)

Начальный момент называется смешанным начальным моментом второго порядка и обозначается как .

Центральные моменты второго порядка:

;

;

. (5.20)

Первые два центральных момента – это дисперсии случайных величин и . Момент называется смешанным центральным моментом второго порядка или ковариацией (корреляционным моментом) и обычно обозначается как .

Ковариация

Для системы двух случайных величин ковариация выражается формулой

, (5.21)

при этом .

Дисперсию можно рассматривать как частный случай ковариации, т. е.

, .

Для независимых случайных величин ковариация всегда равна нулю. Докажем это утверждение.

,

но для независимых случайных величин по теореме умножения плотностей имеем

.

Следовательно,

.

Таким образом, доказано, что ковариация двух независимых случайных величин равна нулю.

Ковариация характеризует степень зависимости случайных величин и их рассеивание вокруг точки . Ее можно выразить через начальные моменты:

. (5.22)

Ковариация двух случайных величин равна математическому ожиданию их произведения минус произведение математических ожиданий этих величин.

Размерность ковариации, также как и дисперсии, равна квадрату размерности случайной величины.

Степень зависимости случайных величин и удобнее характеризовать посредством безразмерной величины – коэффициента корреляции

, (5.23)

который характеризует степень линейной зависимости, проявляющейся в том, что при возрастании одной из случайных величин другая также проявляет тенденцию возрастать или, наоборот, убывать.

Если , то говорят, что случайные величины и связаны положительной корреляцией; при – отрицательная корреляция между случайными величинами. Диапазон изменения

. (5.24)

Модуль коэффициента корреляции характеризует степень "тесноты" линейной зависимости или уклонение корреляционной связи от линейной функциональной зависимости случайных величин и .

При независимости случайных величин , а при линейно функциональной зависимости , :

при ; при .

Если коэффициент корреляции равен нулю, то говорят, что случайные величины и не коррелированы, но это не означает, что они независимы. При можно лишь утверждать, что между случайными величинами отсутствует линейная связь.

Регрессия

Условным математическим ожиданием одной из случайных величин, входящих в систему , называется ее математическое ожидание, вычисленное при условии, что другая случайная величина приняла определенное значение, т. е. полученное на основе условного закона распределения.

Для дискретных случайных величин

;

,

где ; – условные вероятности случайных величин и соответственно.

Для непрерывных случайных величин

;

,

где и – условные плотности распределения случайных величин: при и при соответственно.

Условное математическое ожидание случайной величины при заданном : называется регрессией на ; аналогично – регрессией на . Графики этих зависимостей как функции или называют линиями регрессии, или "кривыми регрессии" на и на соответственно (см. рис. 5.10).

Рис. 5.10б. Регрессия на

Рис. 5.10а. Регрессия на

Для независимых случайных величин линии регрессии на и на параллельны осям абсцисс, так как математическое ожидание каждой из случайных величин не зависит от того, какое значение приняла другая случайная величина (см. рис. 5.10).

Двумерное нормальное распределение

Система двух непрерывных случайных величин распределена по нормальному закону, если ее совместная плотность имеет вид

. (5.25)

Это двумерное нормальное распределение, или нормальный закон распределения на плоскости, который полностью определяется заданием его числовых характеристик: .

Условные законы распределения:

;

.

Каждый из этих условных законов распределения является нормальным с условным математическим ожиданием и условной дисперсией, определяемой по формулам:

Отсюда следует, что для системы нормально распределенных случайных величин и линии регрессии и представляют собой прямые линии, т. е. регрессия для нормально распределенной системы всегда линейна. Для полного описания такой системы нужно знать пять параметров: координаты центра рассеивания и ковариационную матрицу, состоящую их четырех элементов:

, при этом .

При (случайные величины и не коррелированы) совместная плотность распределения системы имеет вид

,

т. е. если две нормальные случайные величины и не коррелированы, то они и независимы.

Закон распределения и числовые характеристики
-мерного случайного вектора

Закон распределения системы случайных величин – -мерного случайного вектора с составляющими – в общем случае может быть задан в виде функции распределения:

. (5.26)

Свойства функции распределения -мерного случайного вектора аналогичны свойствам функции распределения одной или двух случайных величин:

1. есть неубывающая функция каждого из своих аргументов.

2. Если хотя бы один из аргументов обращается в , то функция распределения равна нулю.

3. Функция распределения любой подсистемы системы определяется, если положить в функции распределения аргументы, соответствующие остальным случайным величинам, равными :

.

Чтобы определить функцию распределения любой из случайных величин, входящих в систему, нужно положить в все аргументы, кроме , равными :

.

4. Функция распределения непрерывна слева по каждому из своих аргументов.

5. Если случайные величины независимы, то

.

Для системы непрерывных случайных величин функция распределения непрерывна и дифференцируема по каждому из аргументов, а также существует -я смешанная частная производная

,

которая является совместной плотностью распределения системы непрерывных случайных величин , т. е.

. (5.27)

Свойства совместной функции распределения:

1. .

2. .

3. Если случайные величины независимы, то

.

Закон распределения системы зависимых случайных величин, являющийся функцией многих аргументов, весьма неудобен в практическом применении. Поэтому в практических (инженерных) приложениях теории вероятностей рассматриваются в основном числовые характеристики -мерного случайного вектора:

1. математических ожиданий:

;

2. дисперсий:

;

3. ковариаций:

.

Учитывая, что дисперсия случайной величины есть ковариация , то все ковариации () совместно с дисперсиями образуют матрицу ковариаций (ковариационную или корреляционную матрицу) – таблицу, состоящую из строк и столбцов:

. (5.28)

Так как , то матрица ковариаций симметрична относительно главной диагонали, на которой стоят дисперсии случайных величин. Если случайные величины попарно не коррелированные, т. е. , то матрица (5.25) становится диагональной:

.

Вместо матрицы ковариаций можно записать матрицу коэффициентов корреляции:

, (5.29)

где .

Отсюда единицы по главной диагонали в матрице (5.29). Если же случайные величины попарно не коррелированные, т. е. , то матрица коэффициентов корреляции будет единичной матрицей:

.

Иногда рассматривают условное математическое ожидание одной из случайных величин, например , при условии, что все остальные случайные величины приняли определенные значения: .

.

Это условное математическое ожидание называется регрессией на . Геометрически регрессия интерпретируется как поверхность в -мерном пространстве и называется поверхностью регрессии на .

Регрессия будет линейной, если поверхность регрессии описывается линейной функцией, т. е.

,

где – постоянные коэффициенты.

В двумерном случае линия регрессии прямая, в трехмерном – плоскость; в общем случае – гиперплоскость в пространстве измерений.

Для системы случайных величин , имеющей нормальное распределение, регрессия всегда линейна.

Многомерное нормальное распределение

Совместная плотность распределения вероятности системы произвольного числа нормальных случайных величин – случайного вектора – имеет вид

, (5.30)

где – определитель ковариационной матрицы системы случайных величин ; – элементы обратной ковариационной матрицы, – алгебраическое дополнение элемента матрицы ковариаций.

Таким образом, параметрами -мерного нормального распределения являются:

· вектор математических ожиданий ;

· ковариационная матрица размером .

Если нормально распределенные случайные величины не коррелированы, то корреляционная матрица становится диагональной

,

ее определитель , а обратная корреляционная матрица будет иметь вид

.

Таким образом, совместную плотность распределения можно привести к виду

.

Для нормально распределенной системы случайных величин из попарной некоррелированности отдельных величин, входящих в систему, следует их независимость.