Краткие сведения из теории. Методические указания к лабораторной работе

p S₁,(H₁) ·

Рис. 3

Безусловная вероятность появления некоторой выборки x вычисляется по формуле полной вероятности:

,

а апостериорные вероятности (i =1, 2) по формуле Байеса:

,

,

где нужно заменить на полученное выше выражение.

Теперь можно сформулировать правило выбора решения: принимается гипотеза H₁ (отвергается гипотеза H₀), если для наблюдаемой выборки x выполняется неравенство

и принимается гипотеза H₀ (отвергается гипотеза H₁), если

.

Для сравнения апостериорных вероятностей можно взять их отношение

.

Тогда условие принятия гипотезы H₁ можно записать в виде:

.

Таким образом, максимуму апостериорной вероятности соответствует такая критическая область пространства выборок, точки (x) которой удовлетворяют полученному неравенству. Вероятности p и q учитывают априорные сведения о гипотезах. Если гипотезы равновероятны, то m =1 и правило выбора решения сводится к проверке неравенства для полученной выборки x.

Это правило называется правилом максимального правдоподобия и часто используется, когда вероятности гипотез неизвестны, т.е. гипотезы считаются равновероятными.

Принятие решения по правилу максимального правдоподобия совпадает с правилом максимума апостериорной вероятности удовлетворяющим критерию идеального наблюдателя, когда p=q. Итак, если для наблюдаемой выборки x выполняется неравенство

,

то принимается решение g₁ (отвергается гипотеза ) и принимается решение g₀ (гипотеза считается истинной) в противном случае. Скалярная величина , которая ставится в соответствие каждой выборке , называется пороговой статистикой. Выборки x, которые удовлетворяют неравенству , образуют критическую область X ₁ данного правила выбора решения. Для вычисления вероятности ошибки первого рода

,

которая равна вероятности того, что случайная величина превысит порог m, необходимо знать ее условный закон распределения w( , который не всегда удается легко установить.

Аналогично вычисляется вероятность ошибки второго рода:

Можно доказать, что правило принятия решения, основанное на вычислении отношения правдоподобия, обеспечивает минимум средней (полной, безусловной) вероятности ошибки, которая равна

.

Часто принятие гипотез основано на другом критерии - критерии Неймана -Пирсона, согласно которому правило выбора решения строится таким образом, чтобы обеспечить минимально возможную величину вероятности ошибки второго рода b при условии, что вероятность ошибки первого рода не больше заданной величины a. Иначе говоря, это правило имеет наибольшую мощность (1-b) среди всех других правил, для которых уровень значимости не превосходит a. Критерий Неймана - Пирсона широко используется в радиолокации, в пожарном деле и проч., где a принято называть вероятностью ложной тревоги, а (1-b) - вероятностью правильного обнаружения (цели, пожара...).

Пороговой статистикой критерия Неймана - Пирсона также является отношение правдоподобия , которое сравнивается с некоторым пороговым значением С. Величина С выбирается таким образом, чтобы вероятность ее превышения пороговой статистикой (вероятность выполнения неравенства > С) не превышала заданное значение a.

Таким образом, в случае простых гипотез Н₀ и Н₁ (альтернатива) алгоритм выбора решения сводится к вычислению отношения правдоподобия и сравнению его значения с порогом С.

Задача значительно усложняется, когда хотя бы одна из гипотез является сложной. Например, для проверки простой гипотезы Н₀ о том, что случайная величина имеет заданный (гипотетический) закон распределения против сложной альтернативы Н₁, о которой ничего не известно, разработаны специальные критерии, которые называются критериями согласия. Эти критерии позволяют судить, насколько экспериментальные данные согласуются с предполагаемым (теоретическим, гипотетическим) законом распределения (гипотезой Н₀ ).

Самым простым методом оценки является визуальное сравнение гистограммы, полученной по выборке x, и гипотетического закона распределения . Однако этот метод является очень грубым, субъективным, не имеет четкой количественной характеристики и поэтому не может быть использован как критерий в строгих научных исследованиях. Его рекомендуется применять в качестве основы для выдвижения гипотез. Рассмотрим некоторые другие критерии, которые широко используются в настоящее время.

Критерий согласия Колмогорова основан на проверке близости между эмпирической (выборочной) функцией распределения - (x) и гипотетической функцией распределения - F(x). В данном случае гипотеза Н₀ предполагает, что истинная функция распределения G(x) равна гипотетической функции распределения F(x):

H₀: G(x)=F(x).

Для количественного выражения сходства функций (x) и F(x) используется статистика Колмогорова:

.

Функция означает нижнюю грань функции m(x) на допустимом множестве аргумента x Î E.

Очевидно, что - случайная величина, поскольку ее значение зависит от случайной функции (x). Если гипотеза Н₀ справедлива, то при неограниченном возрастании n функция (x)®F(x) при всяком x и ®0. Если же гипотеза Н₀ не верна, то (x)®G(x) и G(x)¹F(x), а . Последняя величина положительна, так как G(x) не совпадает с F(x).

Отсюда следует, что величина D_n имеет тенденцию к увеличению с ростом степени различия между истинной функцией распределения G(x) и гипотетической функцией распределения F(x). Это свойство позволяет использовать в качестве пороговой статистики критерия. Поскольку ® 0 при истинности гипотезы Н₀, то для стабилизации закона распределения пороговой статистики умножается на неограниченно растущую величину . Случайная величина обладает замечательным свойством, которое заключается в том, что её закон распределения оказывается одним и тем же для всех непрерывных функций G(x). Он зависит только от объема выборки n. Доказательство этого факта основано на том, что статистика не изменяет своего значения при монотонных преобразованиях оси x. Таким преобразованием любое непрерывное распределение G(x) можно превратить в равномерное на отрезке [ 0,1 ]. При этом (x) перейдет в функцию распределения выборки из этого равномерного распределения.

При малых n для статистики при гипотезе Н₀ составлены таблицы процентных точек, например в [ 1 ] они доведены до n =100. При больших n распределение (при гипотезе Н₀) указывает найденная в 1933 г. А.Н.Колмогоровым предельная теорема, которая утверждает, что при справедливости Н₀ (и если G(x) непрерывна) вероятность при неограниченном возрастании n имеет предел, и дает его выражение:

,

или

.

Для этих выражений имеются соответствующие таблицы, например, cм. [1]. Таким образом, задав значение вероятности ошибки первого рода a, можно определить величину порога, с которой будет сравниваться значение пороговой статистики для вынесения решения об истинности гипотезы Н₀. Статистика вычисляется по формуле

,

где через x₍₁₎, x₍₂₎,... x_(n) обозначены элементы вариационного ряда, построенного по исходной выборке, т.е., если элементы выборки расположить в порядке возрастания их значений, то x_(i) обозначает элемент выборки, который стоит на i -м месте.

Критерий согласия омега-квадрат основан на статистике

,

которая измеряет расстояние между F_n(x) и F(x) в интегральной метрике.

Для вычисления по реальной выборке можно использовать формулу:

.

При справедливости гипотезы Н₀: F(x)=G(x) и непрерывности функции G(x) закон распределения статистики , так же как закон распределения статистики , зависит только от n и не зависит от G. Так же как для , для при малых значениях n имеются таблицы процентных точек, а для больших значений n следует использовать предельный (при n ®¥) закон распределения статистики n . Предельный закон распределения был найден Н.В.Смирновым в 1939 г. [ 1 ].

Следует отметить, что критерии, основанные на и , состоятельны против любой альтернативы G(x)¹F(x). Статистический критерий для проверки гипотезы Н₀ называется состоятельным против альтернативы Н₁, если его мощность стремится к единице при неограниченном увеличении объема выборки.

Рассмотренные критерии имеют ограниченную область применения, поскольку требуют непрерывности функции F(x). Например, они не применимы для дискретных законов распределения. Поэтому полезно познакомиться с более универсальным критерием К.Пирсона (1900 г.). Он основан на сравнении гипотетического (теоретического) закона распределения w(x) и гистограммы, построенной по выборке x.

Рис.

В качестве пороговой статистики, которая называется статистикой хи-квадрат Пирсона для простой гипотезы, используется величина

,

(случайная величина l имеет распределение вероятностей , поэтому в левой части последнего равенства пишут и критерий называют критерием хи-квадрат ()), где P_i - вероятность (теоретическая, гипотетическая) того, что случайная величина попадет в интервал ;

- оценка истинной вероятности (относительная частота);

n - общее количество испытаний (размер выборки);

m_i - количество испытаний, при которых значения случайных величин попали в интервал ;

k - количество интервалов на которое разделена область определения случайной величины.

На практике пороговую статистику удобнее вычислять по формуле

.

К.Пирсон доказал, что статистика асимптотически подчиняется распределению (хи-квадрат) с (k-1) степенями свободы.

Рассмотренные правила проверки статистических гипотез позволяют принять или отвергнуть гипотезу Н₀ при заданном уровне значимости a, но при этом теряется представление о мере расхождения (или степени согласованности) гипотетического закона распределения и гистограммы, построенной по конкретной (полученной) выборке x. В частности, такой мерой являются значения пороговых статистик X² (критерий Пирсона) и (критерий Колмогорова), но пользоваться ими из-за большого количества значений пороговых статистик и трудностей физической интерпретации не всегда удобно.

Рассмотрим более универсальную меру [ 2 ], инвариантную по отношению ко всем критериям, которые основаны на вычислении пороговой статистики. Все возможные выборки образуют пространство элементарных событий с общей вероятностной мерой, равной единице. Каждой выборке соответствует свое значение пороговой статистики ( или ), характеризующее степень согласованности (совпадения) теоретического и статистического законов распределения, причем чем больше значение пороговой статистики, тем меньше степень согласованности.

Полученная (эмпирическая) выборка, которой соответствует некоторое значение пороговой статистики, например , является граничной между выборками, которым соответствует значение < , и выборками, которым соответствуют значения . Поэтому вероятностную меру P( ) выборок, которые “хуже” полученной, можно использовать в качестве искомой меры согласованности законов распределения.

При вычислении вероятности P( ) необходимо учитывать зависимость закона распределения от параметра r, называемого числом степеней свободы распределения. Число степеней свободы равно числу интервалов k минус число независимых ограничений (связей) наложенных на частоты .

Примерами таких ограничений могут быть

,

если мы требуем только того, чтобы сумма частот была равна единице (это требование накладывается во всех случаях);

,

если мы подбираем теоретическое распределение таким образом, чтобы его математическое ожидание m совпало со статистическим средним значением;

,

если мы требуем, кроме того, совпадения теоретической и статистической дисперсий. В данном случае статистическая оценка дисперсии является приближенной в силу того, что все значения, попавшие в интервал , заменяются на некоторое значение из этого интервала, - выборочное среднее. Следует отметить, что ограничения на задаются только в виде линейных уравнений относительно переменных .

Пример. Пусть имеются результаты измерений (выборка размера n =500) сведенные в статистический ряд:

	-4; -3	-3; -2	-2; -1	-1; 0	0; 1	1; 2	2; 3	3; 4
mi
	0,012	0,05	0,144	0,266	0,240	0,176	0,092	0,02

где интервалы, на которые разбита область определения случайной величины; m_i - количество реализаций (значений) случайной величины, попавших в интервал ; - относительная частота попадания значений случайной величины в заданный интервал ; при этом Графически статистический ряд оформляется в виде гистограммы.

Проверим согласованность статистического распределения и теоретического (гипотетического), в качестве которого возьмем нормальный (гауссовский) закон распределения с параметрами, значения которых m = 0,168 и s = 1,448 совпадают с их статистическими оценками.

Зная теоретический закон распределения, можно найти теоретические вероятности попадания случайной величины в каждый из интервалов :

,

где - границы i -го интервала,

В таблице приведены значения функции

причем

Пороговая статистика в этом случае равна

.

Если мы подбираем теоретическое распределение с тем условием, чтобы его математическое ожидание и дисперсия совпали с их статистическими оценками, то число степеней свободы r = 8-3 =5. По таблицам при r =5 находим, что

.

Если же на математическое ожидание и дисперсию не накладывать ограничений, а задать их значения априорно, то r = 8-1 = 7. Тогда при тех же значениях параметров (m =0,168, s=1,448), но заданных априорно, .

Задание и порядок выполнения работы

1. Составить программу для генератора случайных величин с произвольным заданным законом распределения (лабораторная работа №5). Задать конкретный вид закона распределения (т.е. выбрать вариант задания) и получить массив чисел (выборку) размера n.

2. Составить программу для вычисления пороговых статистик и Z или по полученной выборке. Вычислить значения пороговых статистик для двух случаев:

а) когда гипотеза совпадает с истинным законом распределения;

б) когда гипотеза отличается от истинного закона распределения.

3. Объяснить различия в полученных результатах.

4. Исследовать зависимость результатов от размера выборки n.

5. Проверить истинность гипотезы. Для этого по заданному уровню значимости a с использованием таблиц определить пороги для критериев Пирсона и Колмогорова и сравнить с ними соответствующие пороговые статистики. Гипотезы проверить для случая а и б.

6. По таблицам определить вероятностную меру согласованности статистического и гипотетического законов распределения и . Дать физическую интерпретацию полученных результатов.

Указания к составлению отчета

Отчет должен содержать алгоритм, текст рабочей программы, результаты вычислений и физическую интерпретацию.

Вопросы для самопроверки

1. В чем различие между проверкой статистических гипотез и критериями согласия.

2. Как ведет себя пороговая статистика при неограниченном возрастании размера выборки n, когда гипотеза не совпадает с истинным законом распределения и когда совпадает.

3. В чем ограниченность критериев Колмогорова и по сравнению с критерием Пирсона.

Рекомендуемая литература

1. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1983. - 416 с.

2. Вентцель Е.С. Теория вероятностей. - М.: Наука, 1969. - 576 с.