Свойства точечных оценок

a) Рассмотрим вначале случай, когда математическое ожидание исследуемой случайной величины известно и равно . Дисперсия генеральной совокупности X, образованной случайной величиной x, равна .

В этом случае оценка дисперсии вычисляется по формуле

.

П р о в е р и м н е с м е щ е н н о с т ь этой оценки.

.

Когда математическое ожидание исследуемой случайной величины известно, оценка дисперсии не смещена.

б) Обычно на практике математическое ожидание исследуемой случайной величины неизвестно. В этом случае вместо него приходится использовать оценку, например среднее арифметическое:

.

П р о в е р и м н е с м е щ е н н о с т ь этой оценки.

.

Первое слагаемое во внешних квадратных скобках есть сумма дисперсий генеральной совокупности, их в этой сумме n штук, то есть первое слагаемое равно . Второе слагаемое есть сумма дисперсий средних арифметических, оно равно . Конструкция вычитаемого сложнее. Рассмотрим его отдельно. Запишем второй сомножитель под знаком суммы в виде:

.

В справедливости такой записи можно убедиться, раскрыв скобки и подсчитав каждую сумму по отдельности.

Сделаем подстановку:

.

Здесь в квадратных скобках суммируются произведения биномов, отличающихся только индексом. В результате внутри квадратных скобок образуется сумма слагаемых, среди которых встречаются слагаемые, сомножители которых имеют одинаковые индексы i = j (таких слагаемых n штук), и слагаемые, сомножители которых имеют разные индексы (таких слагаемых штук).

Математическое ожидание каждого слагаемого из первой группы (при i = j)

.

Математическое ожидание второй группы слагаемых (при i ¹ j) есть не что иное, как центральный смешаный момент порядка 1, 1, а это, как следует из разд. 1.7.2, ковариация, которая вследствие независимости выборочных значений равна нулю.

В результате получаем, что

.

Подводя окончательный итог, получаем

.

Таким образом мы выяснили, что когда математическое ожидание генеральной совокупности неизвестно, исследованная оценка смещена. При n ® ¥ смещение оценки убывает до нуля, поэтому такая оценка является асимптотически несмещенной. Обнаруженное смещение корректируется простым умножением на n /(n – 1), и мы получаем общеизвестную рабочую формулу для расчета несмещенной оценки дисперсии:

.

Обращает на себя внимание тот факт, что при количестве слагаемых, равном n, сумма делится на n - 1. Это происходит потому, что каждое слагаемое содержит в себе одинаковые выборочные значения с коэффициентом 1/ n, которые были использованы при вычислении среднего арифметического значения , и значит, эти слагаемые не являются независимыми. Чтобы убедиться в этом, найдем ковариацию . В силу несмещенности среднего арифметического как оценки математического ожидания математические ожидания каждого из этих сомножителей равно 0. Поэтому

,

где – математическое ожидание генеральной совокупности.

Первое слагаемое в последней сумме равно нулю в силу независимости выборочных данных. Второе слагаемое есть дисперсия среднего арифметического, которая равна . Третье и четвертое слагаемые равны друг другу, поэтому можно записать:

.

Вычитаемое здесь представляет собой сумму произведений биномов. Математическое ожидание всех этих произведений в силу независимости выборочных значений равно нулю, кроме тех, у которых совпадают индексы. Математическое ожидание таких произведений равно дисперсии , а их количество равно 1. Поэтому

.

Коэффициент корреляции равен

.

Видно, что данные биномы коррелированы, и, значит, зависимы, что и требовалось доказать.

Переведем отмеченное обстоятельство на общепринятый язык математической статистики. Принято говорить, что оценка

имеет n степеней свободы, а оценка

имеет n - 1 степеней свободы.

Этимологию этих понятий можно объяснить следующим образом. Если все выборочные значения независимы, то каждое из них обладает полной “свободой”. На n выборочных значений приходится n таких “свобод”. Столько же “свобод” приходится на n слагаемых первой из приведенных оценок дисперсии.

Как только на слагаемые накладываются какие-либо зависимости, количество “свобод” уменьшается. Во второй оценке степень зависимости между каждыми двумя биномами вида мы оценили в 1/ n, поэтому в совокупности от всех n таких биномов отнята одна целая “свобода”, и общее количество “свобод” или степеней свободы осталось n - 1. Потому в этой оценке сумма квадратов биномов делится на эквивалентное число оставшихся “свобод”.

Это подтверждается также следующим соображением: по выборке объема n = 1,то есть по одному значению (при этом в знаменателе формулы будет 0) невозможно судить о разбросе значений случайных величин.

в) П л о т н о с т ь р а с п р е д е л е н и я о ц е н к и .

Будем считать, что выборка извлечена из нормальной генеральной совокупности с математическим ожиданием и дисперсией .

Рассмотрим вначале первую из оценок, несмещенную при априори известном математическом ожидании . Преобразуем ее следующим образом:

.

Из разд. 1.6.5. следует, что

Это значит, что

.

В разд. 1.6.7 мы нашли, что при возведении в квадрат нормальной случайной величины с параметрами (0, 1) получается новая случайная величина, плотность распределения и характеристическая функция которой: .

По свойству характеристических функций (см. разд. 1.7.5) характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых. В нашем случае характеристическая функция случайной величины

равна . Плотность распределения этой случайной величины отыскивается обратным преобразованием характеристической функции и имеет следующий вид:

.

В справедливости этого выражения можно убедиться путем определения характеристической функции этой плотности подобно тому, как это было сделано в примере 1 разд. 1.6.7.

Полное название приведенной плотности: плотность распределения “хи-квадрат” с n степенями свободы. Эта плотность распределения имеет всего один параметр n – число степеней свободы.

Принадлежность случайной величины z генеральной совокупности с плотностью распределения “хи-квадрат” и числом степеней свободы n будем обозначать так:

.

Найдем математическое ожидание и дисперсию случайной величины, распределенной по с помощью характеристической функции.

Первая производная от характеристической функции по n

,

откуда

.

Вторая производная

,

откуда

.

В тех случаях, когда оценка дисперсии вычисляется при неизвестном математическом ожидании, количество степеней свободы уменьшается на единицу. Тогда случайная величина zраспределена в соответствии с плотностью распределения с n - 1степенями свободы:

.

Математическое ожидание и дисперсия этой случайной величины

1, .

Плотность распределения имеет вид

.

Характерная особенность плотности распределения : дисперсия равна удвоенному математическому ожиданию.

Плотность распределения безгранично делима. Пусть с характеристической функцией и с характеристической функцией . Тогда характеристическая функция случайной величины есть , то есть это также характеристическая функция распределения с степенями свободы, а это значит, что .

Еще раз напомним, что распределение получено нами при условии, что выборка изъята из нормальной генеральной совокупности.

В свою очередь, распределение асимптотически нормально.

2.3.4.3. Свойства оценки математического ожидания