Закон больших чисел и центральная предельная теорема

ЦЕЛЬ ЛЕКЦИИ: доказать неравенство Чебышева; сформулировать и доказать закон больших чисел и его следствия; доказать центральную предельную теорему для случая суммы независимых случайных величин.

Закон больших чисел утверждает, что среднее арифметическое большого числа случайных величин ведет себя как среднее арифметическое их математических ожиданий. А согласно центральной предельной теореме достаточно большая сумма сравнительно малых случайных величин ведет себя как нормальная случайная величина. Различные формы закона больших чисел вместе с различными вариантами центральной предельной теоремы образуют совокупность так называемых предельных теорем теории вероятностей и имеют большой практический смысл, так как составляют теоретическую основу математической статистики.

В качестве леммы, необходимой для доказательства теорем, относящихся к группе "предельных", докажем неравенство Чебышева.

Неравенство Чебышева

Если у случайной величины известна дисперсия , то она в некотором смысле является мерой "случайности" величины .

Так, для случайной величины, имеющей равномерный закон распределения

,

дисперсия равна

.

При малых мала и дисперсия, но невелико и отличие любого значения случайной величины от ее математического ожидания.

Аналогично для нормального распределения: чем больше дисперсия, тем больше область вероятных (имеющих отличные от нуля вероятности) значений случайной величины , хотя и с меньшей вероятностью.

Таким образом, чем больше величина дисперсии , тем более вероятны значительные отклонения возможных значений случайной величины от центра группирования – математического ожидания .

Если у случайной величины известна плотность распределения , то для любого положительного можно вычислить вероятность события вида .

Однако чаще встречается вариант, когда при неизвестном законе распределения, но по известной дисперсии необходимо оценить вероятность события . Эту задачу решил Чебышев Пафнутий Львович (1821–1894) посредством неравенства, названного его именем.

Неравенство Чебышева. Для любой случайной величины, имеющей конечную дисперсию и математическое ожидание , для любого положительного имеет место неравенство

.

Доказательство. Для дискретной случайной величины , заданной рядом распределения

Х:			…
		…		,

изобразим возможные значения этой величины на числовой оси в виде точек (см. рис. 7.1).

Зададимся некоторым значением и вычислим вероятность того, что случайная величина отклонится от своего математического ожидания на величину, большую чем :

,

т. е. вероятность того, что попадет не внутрь отрезка , а вне его,

Рис. 7.1. Возможные значения дискретной случайной величины

x

x 1

A

B

x 2

xn -1

xn

mX

.

Чтобы вычислить эту вероятность, необходимо просуммировать вероятности всех значений , которые лежат вне отрезка , т. е.

, (7.1)

где запись под знаком суммы означает, что суммирование распространяется на все значения , для которых точки лежат вне отрезка .

По определению дисперсия дискретной случайной величины

.

Так как все члены суммы неотрицательны, то эта сумма только уменьшится, если распространить суммирование не на все значения , а только на те, что лежат вне отрезка :

.

Так как , то при замене под знаком суммы величины на , значение этой суммы еще больше уменьшится, и будем иметь неравенство

.

Стоящая в правой части сумма есть не что иное, как вероятность непопадания случайной величины на отрезок (см. выражение 7.1), и поэтому

,

откуда окончательно получаем

;

.

Как и всякий общий результат, не использующий данные о конкретном виде распределения случайной величины , неравенство Чебышева дает лишь грубую оценку сверху для вероятности события . Если оценивать вероятность события для случайной величины с неизвестным законом распределения, то получим по неравенству Чебышева

.

Для нормального распределения эта вероятность равна 0,0027 – разница в 40 раз.

Закон больших чисел

Одной из основных задач теории вероятностей является установление закономерностей, происходящих с вероятностями, близкими к единице; при этом особую роль играют закономерности, возникающие в результате наложения большого числа независимых или слабо зависимых факторов. Закон больших чисел устанавливает связь между средним арифметическим наблюдаемых значений случайной величины и ее математическим ожиданием и является одним из важнейших приложений теории вероятностей.

Предварительно решим следующую задачу. Есть случайная величина , имеющая математическое ожидание и дисперсию . Над этой величиной производится независимых испытаний и вычисляется среднее арифметическое всех наблюдаемых значений случайной величины . Полученное значение среднего арифметического является случайной величиной. Поэтому необходимо найти числовые характеристики этого среднего арифметического, т. е. вычислить математическое ожидание и дисперсию, а также выяснить, как они изменяются с увеличением .

В результате опытов получена последовательность из возможных значений: . Удобно посмотреть на эту совокупность чисел как на систему случайных величин . Очевидно, что эта система представляет собой независимых случайных величин, каждая из которых распределена по тому же закону, что и сама исходная величина , т. е. выполняются следующие условия:

;

.

Среднее значение этих случайных величин

(7.2)

является случайной величиной с математическим ожиданием

(7.3)

и дисперсией

. (7.4)

Получили, что математическое ожидание случайной величины не зависит от числа испытаний и равно математическому ожиданию исследуемой случайной величины , а дисперсия величины неограниченно убывает с увеличением числа опытов и при достаточно большом может быть сделана сколь угодно малой. Таким образом, среднее арифметическое есть случайная величина с какой угодно малой дисперсией и при большом числе опытов ведет себя почти как неслучайная величина.

Теорема Чебышева. Если – последовательность попарно независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной

,

и математические ожидания

,

то, каковы бы ни были постоянные и ,

либо

; ,

т. е. среднее арифметическое последовательности независимых случайных величин сходится по вероятности к их математическому ожиданию.

Доказательство. Применим для случайной величины

с и

неравенство Чебышева

.

Но из условия теоремы получаем

.

Следовательно, каким бы малым ни было число , можно взять таким большим, чтобы выполнялось неравенство

,

где – сколь угодно малое число.

И тогда получаем

,

и, переходя к противоположному событию, имеем

.

Обобщенная теорема Чебышева. Если законы распределения случайной величины от опыта к опыту изменяются, то приходится иметь дело со средним арифметическим последовательности случайных величин с различными математическими ожиданиями и с различными дисперсиями. Для таких случайных величин существует обобщенная теорема Чебышева.

Теорема (без доказательства). Если – последовательность попарно независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной

,

и математические ожидания

,

то, каковы бы ни были постоянные и ,

или

,

т. е. среднее арифметическое последовательности независимых случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий.

Теорема Маркова. Закон больших чисел может быть распространен и на зависимые случайные величины. Это обобщение принадлежит Маркову.

Теорема (без доказательства). Если имеются зависимые случайные величины и при

,

то среднее арифметическое наблюдаемых значений случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий:

.

Следствия закона больших чисел

Теорема Я. Бернулли, устанавливающая связь между частотой события и его вероятностью, может быть доказана как прямое следствие закона больших чисел (теоремы Чебышева).

Теорема Бернулли. Если производится независимых испытаний, в каждом из которых может появиться или не появиться некоторое событие , вероятность появления которого в каждом опыте равна , то при неограниченном увеличении числа опытов частота события сходится по вероятности к его вероятности .

Обозначив частоту события через , теорему Бернулли можно записать в виде

или ,

где и – сколь угодно малые положительные числа.

Доказательство. Рассмотрим независимые случайные величины: – число появлений события в первом опыте; – число появлений события во втором опыте; …; – число появлений события в -м опыте. Все эти случайные величины дискретны и имеют один и тот же закон распределения в виде индикатора событий. Поэтому математическое ожидание каждой из величин равно , а дисперсия равна , где .

Частота представляет собой не что иное, как среднее арифметическое случайных величин

,

которая, согласно теореме Чебышева, сходится по вероятности к общему математическому ожиданию этих случайных величин, равному .

Теорема Бернулли утверждает свойство устойчивости частот при постоянных условиях опыта, но и при изменяющихся условиях испытаний аналогичная устойчивость также существует.

Теорема Пуассона (следствие обобщенной теоремы Чебышева). Если производится независимых опытов и вероятность появления события в -м опыте равна , то при неограниченном увеличении числа опытов частота события сходится по вероятности к среднему арифметическому вероятностей :

или .

Центральная предельная теорема

Докажем центральную предельную теорему для случая одинаково распределенных случайных величин (в форме Ляпунова).

Теорема: Если – независимые случайные величины, имеющие одно и то же распределение с математическим ожиданием и дисперсией , то при увеличении закон распределения суммы неограниченно приближается к нормальному.

Доказательство. Докажем теорему для случая непрерывных случайных величин, применив аппарат характеристических функций. Согласно одному из свойств, характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых. Случайные величины имеют одну и ту же плотность распределения , а значит, и одну и ту же характеристическую функцию . Не нарушая общности, можно перенести начало отсчета всех случайных величин в их общее математическое ожидание , что равнозначно их центрированию и, значит, тому, что математическое ожидание каждой из них будет равно нулю.

Для доказательства теоремы найдем характеристическую функцию гауссовой случайной величины с нулевым математическим ожиданием и единичной дисперсией, плотность распределения которой

.

Характеристическая функция такой случайной величины

.

Получили, что характеристическая функция нормальной случайной величины с и имеет вид

. (7.5)

По определению характеристическая функция случайной величины

. (7.6)

Характеристическая функция случайной величины равна произведению характеристических функций слагаемых, т. е.

. (7.7)

Разложим в окрестности точки в ряд Макларена, ограничившись тремя членами

, (7.8)

где при .

Вычислим .

Так, по свойству нормировки функции .

Продифференцируем выражение (7.6) по

(7.9)

и получаем при

,

а так как все имеют одну и ту же плотность распределения и нулевое математическое ожидание, то .

Продифференцируем теперь (7.9): и соответственно при получим

.

После подстановки в (7.8) имеем, что

. (7.10)

Для случайной величины докажем, что при увеличении ее закон распределения приближается к нормальному закону распределения. Для этого перейдем к нормированной случайной величине

,

которая линейно связанной с и удобна тем, что ее дисперсия равна единице для любого . Если докажем, что случайная величина имеет нормальное распределение, то это будет означать, что и величина тоже распределена нормально.

Докажем, что характеристическая функция , однозначно определяющая плотность распределения случайной величины , приближается к характеристической функции нормального закона с теми же, что и у , параметрами: .

Найдем характеристическую функцию случайной величины , используя свойства характеристических функций и выражения (7.5) и (7.8):

.

Прологарифмируем это выражение и получим

.

Пусть , и тогда . Если неограниченно увеличивать , то величина будет стремиться к нулю. Поэтому разложим в ряд по степеням , ограничившись первым членом разложения, т. е. . Таким образом, получаем

,

так как функция , когда аргумент при .

Получили, что , следовательно,

,

но это и есть характеристическая функция нормально распределенной случайной величины с нулевым математическим ожиданием и единичной дисперсией (см. выражение (7.5)). Следовательно, и линейно связанная со случайной величиной случайная величина имеет нормальное распределение.

ЧАСТЬ 8