 |
Главная Случайная страница Контакты | Мы поможем в написании вашей работы! | |
Закон больших чисел и центральная предельная теорема
|
|
Под законом больших чисел понимается ряд теорем, каждой из которых устанавливается факт сходимости средних арифметических большого числа случайных величин (СВ) к некоторым неслучайным величинам (НеСВ).
Основные формы закона больших чисел – теоремы Чебышева и Бернулли.
Теорема Чебышева: пусть 
– последовательность независимых СВ, имеющих математические ожидания 
, дисперсии 
. Причем дисперсии ограничены одним и тем же числом 
, т.е. 
. Тогда для 
выполняется условие:
или 
при 
.
Таким образом, в теореме Чебышева утверждается, что среднее арифметическое СВ при большом числе слагаемых перестает быть СВ и может быть заменено НеСВ: средним арифметическим их математических ожиданий.
Следствие из Теоремы Чебышева: в частном случае независимых одинаково распределенных СВ 
и 
. Утверждение из Теоремы Чебышева приобретает вид:
для 
или 
при .
В данном утверждении находит обоснование тот факт, почему в качестве истинного значения 
некоторой измеряемой величины используют среднее арифметическое отдельных измерений 
этой величины: 
.
Согласно данному утверждению при больших 
среднее арифметическое этих результатов отдельных измерений будет ближе к истинному значению, чем результат каждого отдельного измерения.
Кроме того, этот частный случай Теоремы Чебышева играет большую роль в математической статистике, являясь теоретическим обоснованием свойства состоятельности: 
как оценки 
генеральной совокупности 
.
В основе доказательства Теоремы Чебышева лежит неравенство Чебышева и понятие сходимости последовательности СВ по вероятности.
Неравенство Чебышева: для каждой СВ , имеющей конечную дисперсию 
, при имеет место неравенство 
. Это неравенство позволяет оценить вероятности событий, зная только и СВ , не зная закона распределения, т.е. используя минимальную информацию.
Замечание: если известен закон распределения с функцией распределения 
, тогда 
.
Последовательность СВ называется сходящейся по вероятности к некоторой величине 
(которая является либо СВ, либо НеСВ), если для выполняется равенство: 
или 
при .
Сходимость по вероятности означает, что последовательность 
приближается к так, что отклонение члена последовательности 
от по абсолютной величине, превосходящее любое наперед заданное число 
, становится все менее вероятным с увеличением .
Для доказательства Теоремы Чебышева рассматривают СВ 
. В силу свойств математического ожидания и дисперсии конечного числа независимых СВ и условий Теоремы следует: 
(
, если 
равны).
{для независимых СВ} 
(
для одинаково распределенных СВ)
Замечание: 
, 
, 
.
Используя неравенство Чебышева, выполняется неравенство:
,
где 
и 
, что и требовалось доказать.
Частным случаем Теоремы Чебышева является Теоремы Бернулли (или закон больших чисел в форме Бернулли).
Теорема Бернулли: пусть в независимых испытаниях по схеме Бернулли некоторое событие в каждом из испытаний наступает с вероятностью 
. Тогда для выполняется:
, где 
- число успехов или появлений события в испытаниях, 
- относительная частота.
Утверждение Теоремы: 
при .
Доказательство Теоремы Бернулли следует из Теоремы Чебышева, если 
,
 0
| |
| 1-p | p |
где
Утверждение Теоремы Бернулли является теоретическим обоснованием статистического определения вероятности, тогда в качестве приближенного значения вероятности некоторого события 
принимают частоту его появлений, в которых данное событие появляется. Теорема Бернулли является теоретическим обоснованием состоятельности 
.
В Центральной Предельной Теореме (ЦПТ) исследуется вопрос возникновения нормального распределения как предельного для суммы большого числа СВ. Данная Теорема выявляет ту особую роль, которую играет нормальное распределение на практике. Нормальный закон всегда имеет место, когда СВ является результатом действия большого числа равномерно малых по их влиянию на весь результат случайных факторов, действующих независимо друг от друга.
Для случая одинаково распределенных независимых слагаемых:
ЦПТ: пусть - последовательность независимых одинаково распределенных СВ, имеющих и . Тогда функция распределения 
стандартизированной СВ 
для 
фиксированного 
при стремится к функции распределения 
нормальной стандартной величины 
: 
для 
.
Величину 
называют стандартизированной, если 
и 
.
В ЦПТ используется понятие сходимости последовательности функции распределения или слабой сходимости.
Сходимость называется сходимостью последовательности функции распределения 
к функции распределения или слабой сходимостью последовательности СВ к СВ : 
для слабой сходимости.
13. Регрессионный анализ: линейная и нелинейная регрессия, статистические свойства оценок коэффициентов регрессии.
Во многих прикладных задачах требуется построить математическую модель (уравнение), связывающую факторные (- изменение этих переменных влечет изменение результативной переменной) переменные Х1, …Хк и результативную (зависимую) переменную У. Предполагается У - случайной величиной, а Х1, …Хk не случайные величины. В этом случае математическая модель связи: Y=f (Х1…Хk) + ε(Х1…Хk) (1) (1) называется статистической моделью связи. где ε(Х1…Хk) – случайная величина при каждом наборе (x1,…xk), f(x)=M(Y|X=x) – функция регрессии, Если факторных переменных больше 2х, то говорят о множественной регрессионной модели, если факторная переменная 1,то – о парной регрессионной модели: Y=f (Х) + ε(Х) Основные свойства регрессионной модели состоят в том, что для каждого набора 1) 2) 3) Основные задачи регрессионного анализа: 1) установление модели регрессии, т.е. вида f( 2) нахождение оценок неизвестных параметров 3) проверка статистических гипотез о регрессии: гипотез об адекватности полученного уравнения Различают парную линейную и нелинейную регрессию. Линейной регрессией называют регрессию вида Нелинейные регрессии делятся на регрессии: 1. линейные по оцениваемым параметрам, но нелинейные по факторным переменным, например a) b) c) 2. нелинейные по оцениваемым параметрам факторным. параметрам a) b) Для оценки параметров уравнения регрессии линейных по параметрам Рассмотрим нахождение МНК оценок для парной линейной регрессии, имеющей вид: Согласно методу МНК Нормальная система МНК будет иметь вид: Выражая через линейный коэффициент корреляции (-1<r<1, если r=+(-)1, то СВ Х и У находятся в линейной зависимости) Возникает вопрос: как соотносятся 14. Проверка гипотез. Критерий χ2. Ошибки 1-го и 2-го рода. Лемма Неймана-Пирсона. Статистической гипотезой называют любое высказывание относительно свойств генеральной совокупности (ГС), проверяемой с помощью выборочных данных. Примерами гипотез являются: 1. гипотеза о равенстве математических ожиданий двух генеральных совокупностей (она возникает, например, когда нужно проверить одинаково ли среднее значение основных параметров изделий, производимых двумя станками, цехами) 2. гипотеза о равенстве дисперсий, когда следует сравнить точность двух измерительных приборов для измерения одной и той же величины) 3. гипотеза об однородности выборок (возникают в тех случаях, когда несколько малых выборок объединяются в одну большую и требуется до их объединения установить взяты они из одной генеральной совокупности или нет, если гипотеза подтверждается, то выборки можно объединить, иначе - нет) 4. гипотеза о законе распределения ГС (возникает в результате проведенной предварительной обработки данных (разведочного анализа), изучения гистограмм, полигона, значений выборочных коэффициентов ассиметрии) Статистические гипотезы бывают ü параметрическими ü не параметрическими Статистические гипотезы относительно неизвестных значений параметров распределения называют параметрическими, все другие гипотезы называются непараметрическими. Статистическую гипотезу называют простой, если она однозначно определяет распределение генеральной совокупности, в противном случае – сложной. Если неизвестный параметр Ө принимает одно возможное значение из своих возможных значений (параметрического пространства Проверяемую гипотезу H0 называют основной, наряду с ней рассматривают одну из альтернативных гипотез H1, противоречащих основной, например, если проверяется гипотеза H0: Ө=Ө0, то альтернативными будут H1: Ө<Ө0, Ө>Ө0, Ө ≠ Ө0. Выбор альтернативной гипотезы осуществляется конкретной постановкой задач. Критерием проверки статистической гипотезы (К) называют правило, по которому принимают решение принять или отклонить основную гипотезу. Критерий задают с помощью критического множества (множество, попадание в которое выборки ü если конкретная выборка ü 2) если При использовании любого критерия возможны ошибки 1-го и 2-го рода. Ошибка 1-го рода – отклонить верную основную гипотезу. Ошибка 2-го рода – это принять неверную основную гипотезу H0. Вероятность α совершить ошибку первого рода вычисляют по формуле: α(Ө)=P( Число α такое, что вероятность ошибки первого рода не превосходит его α(Ө)≤α называется уровнем значимости критерия К. В случае простой гипотезы уровень значимости полагают равным вероятности ошибки первого рода. А величину (1-β(Ө))=m(Ө) называют мощностью критерия. Наиболее мощный критерий при заданном уровне значимости принято называть оптимальным критерием. Одновременно минимизировать α(Ө) и β(Ө) при заданном объеме выборки n нельзя, т.к.при уменьшении одной вероятности, увеличивается другая. При построении критерия для проверки параметрических гипотез, как правило, стараются максимизировать его мощность (min вероятность ошибки второго рода), при фиксированном значении вероятности α ошибки первого рода. Построение оптимального критерия для проверки простых гипотез H0: Ө = Ө0, H1: Ө = Ө1 осуществляют на основании следующей леммы.
- погрешность модели (случайная переменная), порожденная или действием неучтенных факторов, или случайными ошибками измерений случайной величины У.
:
математическое ожидание случайных ошибок (отсутствие систематической погрешности)
i≠j случайные ошибки некоррелируемы
случайные ошибки имеют одинаковую дисперсию (гомоскедастичность - равноизменчивость)
), что заключает в себе предположение о зависимости функции регрессии от значений факторных переменных и неизвестных параметров (b1…bm)= 
.
методом наименьших квадрат (МНК)
, о значимости найденных по выборке параметров.
.
используют МНК. Согласно МНК в качестве оценок 
неизвестных параметров выбирают такие, для которых сумма квадратов невязок 
, т.е. функция S(
)= 
принимала бы наименьшее значение, т.е. S (
)= 
.
- отклонение факторного значения yi от теоретического 
, рассчитанных по функциям регрессии 
. Необходимым условием экстремума функции S является условие равенства частных производных 0
- нормальная система МНК
.
. Необходимые условия экстремума имеют вид: 
, 
, 
. Тогда выборочное уравнение парной линейной регрессии 
.
с 
? Оказывается для линейной регрессии 
при выполнении основных предположений 1)-3) регрессионного анализа - за оценки , получаемые по МНК, являются несмещенными (математическое ожидание равно оцениваемому параметру), состоятельными (при увеличении объема выборки точечная оценка по вероятности стремится к оцениваемому параметру) и эффективными (имеющие наименьшую дисперсию в классе всех линейных несмещенных оценок). Если предположить, что ошибки наблюдений имеют нормальный закон распределений εi ~ 
, то оценки 
и 
имеют также нормальное распределение, что позволяет легко строить для параметра 
и 
доверительные интервалы и тем самым определять погрешность оценивания.
), то гипотезу называют простой, если принимает несколько значений, то называют сложной.
приводит к отклонению H0): W 
χn, где χn – выборочное пространство (совокупность всех возможных конкретных выборок из генеральной совокупности). Принимается решение на основе конкретной выборки следующим образом: 
W(критическому множеству), то H0 отклоняется в пользу альтернативной; не принадлежит W, то принимается гипотеза H0 и отклоняется гипотеза H1 (гипотеза H0 при этом считается непротиворечивой данной выборке). W│H0). Вероятность β совершить ошибку второго рода вычисляют по формуле: β(Ө)=P( 
│H1), где = χn \ W – множество принятия основной гипотезы.
Дата публикования: 2015-01-13; Прочитано: 551 | Нарушение авторского права страницы | Мы поможем в написании вашей работы!
