Приклад 1

Dâ₂ = D( max x_i) = ,

Dâ₃ = D(x_(k) + x_(k+1))» ,

Звідси випливає, що â ₂ — найбільш точна оцінка, а â ₃ — найменш.

Пояснимо наведені формули для дисперсій.

Перша:

Dâ₁ = = = = .

Друга. Визначимо функцію розподілу статистики max x_i:

F(z) º P { max x_i < z } = P { x₁ < z,..., x_n < z } = = ;

щільність розподілу

p(z) = F¢(z) = , zÎ [0, a ].

Далі

Mâ ₂ = M( max x_i) = = ,

Mâ₂² = M = ,

Dâ₂ = Mâ₂² — (Mâ₂₎²= _.

Третя. Використовуємо теорему Крамера, відповідно до якої вибіркова p -квантиль має дисперсію, рівну приблизно , де x_p — p -квантиль, f(x) - щільність розподілу спостережень вибірки. У нашому випадку (при n = 2k) статистика 0.5 (x_(k) +x _(k+1)) º m є вибірковою медіаною (p = 0.5), f(x_0.5) = 1/a, â₃= 2m, і тому

Dâ₃=Dm = = .

2.3. Статистичне порівняння оцінок

Далеко не завжди вдається аналітично обчислити дисперсію оцінки. Як експериментально визначити, яку з оцінок використовувати? По одній вибірці не можна судити про розкид значень оцінки, оскільки значення усього одне; необхідно мати декілька вибірок, наприклад, k = 20, (чи хоча б 5 ¸ 10), оцінити розкид значень для кожної оцінки і віддати перевагу тій оцінці (той спосіб оцінювання), для якої розкид менше. Якщо ж вибірка усього одна, то випливає (якщо n досить велике) розбити її випадковим чином на декілька вибірок, і по них порівнювати якість оцінок.

Сформуємо k =20 вибірок з розподілу R [ 0, a=10 ] обсягу n для різних n =10, 40, 160 і визначимо розкид оцінок. Характеристиками розкиду значень а₁,...,а_k оцінки â будемо вважати розмах w = max a_i - min a_i і середньоквадратичне відхилення (СКВ)

S_a= , .

Як приклад у табл.1 і на мал.1 наведено результати порівняння трьох оцінок.

Таблиця 1. Розкид значень оцінок.

Порівняння значень розмахів w і СКО S_а для 3 оцінок показує, що оцінка â₂(х₁,..., х_n) є найбільш точною, а оцінка â₃(х₁,..., х_n) - найменш.

Наведені результати експериментального порівняння 3 способів обробки спостережень показують наступне.

1. Значення оцінок концентруються в околиці оцінюваного параметра (прояв властивості незсуненості оцінок).

2. З ростом числа спостережень точність (величина розкиду) оцінок поліпшується (прояв властивості спроможності).

3. Різні оцінки розрізняються по величині середньої помилки, звідки ясно, що різні способи обробки спостережень потрібно порівнювати по величині середнього значення деякого критерію якості, наприклад, середнього значення квадрату помилки.

2.4. Завдання для самостійної роботи

Порівняти статистично на вибірках обсягу n =10 дві оцінки: оцінку максимальної правдоподібності і медіанну оцінку

1) середнього нормального розподілу;

2) параметра експоненційного розподілу.

Звіт по роботіповинен містити:

1) постановку задачі оцінювання, аналіз оцінок, вирази для їхніх дисперсій (якщо їх неважко одержати);

2) результати експериментів:

- роздруківки 3-5 вибірок, роздруківку значень оцінок на всіх k = 20 вибірках для обсягу n = 10,

- графічне представлення результатів порівняння оцінок на усіх вибірках, таблицю розкиду значень оцінок,

- графічну залежність S_а від обсягу n для різних оцінок.

3. Довірчі межі та інтервали.

3.1. Основні положення

3.1.1. Побудова довірчих границь і інтервалів

3.2. Рівень довіри

3.3. Завдання для самостійної роботи

Результатом застосування точкової оцінки â(x₁,...,x_n) є одне числове значення; воно не дає уяви про точність, тобто про те, наскільки близько отримане значення до істинного значення параметра. Інтуїтивно ясно, що таке представлення може дати, наприклад, дисперсія оцінки, так що істинне значення повинне знаходитися десь у межах

â ± (2¸4)

Внесемо уточнення.

3.1. Основні положення

Нехай (x₁,...,x_n) º x - n незалежних спостережень над випадковою величиною з законом розподілу F (z / a), що залежить від параметра a, значення якого невідомо.

Визначення 3.1. Функція спостережень a₁ (x₁,...,x_n) (помітимо, що це випадкова величина) називається нижньою довірчою границею для параметра a з рівнем довіри Р_Д (звичайно близьким до 1), якщо при будь-якому значенні виконується P { a₁ (x₁,...,x_n)£ a } ³ P_Д.

Визначення 3.2. Функція спостережень a₂ (x₁,...,x_n) (випадкова величина) називається верхньою довірчою границею для параметра з рівнем довіри Р_Д, якщо при будь-якім значенні

P { a₂ (x₁,...,x_n) ³ a } ³ P_Д.

Визначення 3.3. Інтервал з випадковими кінцями (випадковий інтервал)

I (x) = (a₁ (x), a₂ (x)),

обумовлений двома функціями спостережень, називається довірчим інтервалом для параметра a з рівнем довіри Р_Д, якщо при будь-якім значенні a

P { I (x)℮ a } º P{ a₁ (x₁,...,x_n) £ a £ a₂ (x₁,...,x_n) } ³ P_Д,

тобто імовірність (що залежить від a) накрити випадковим інтервалом I (x) справжнє значення a - більше або дорівнює Р_Д.

3.1.1. Побудова довірчих границь і інтервалів

Для побудови довірчого інтервалу (чи границі) необхідно знати закон розподілу статистики z=z (x₁,...,x_n), по якій оцінюється невідомий параметр (такою статистикою може бути оцінка z = â (x₁,...,x_n)). Один зі способів побудови полягає в наступному. Припустимо, що деяка випадкова величина j = j(z, a), що залежить від статистики z і невідомого параметра a така, що

1) закон розподілу відомий і не залежить від a;

2) j(z, a) є неперервною та монотонною по .

Виберемо діапазон для - інтервал так, щоб влучення в нього було практично вірогідно:

P{ f1 £ j(z, a) £ f2 } ³ PД, (3.1)

для чого досить у якості і взяти квантилі розподілу рівня (1- Р_Д)/2 і (1+ Р_Д)/2 відповідно. Перейдемо в (3.1) до іншого запису випадкової події. Розв’язуючи нерівності щодо параметра a, одержимо (думаючи, що монотонно зростає по ):

P{ g(z, f1) £ a £ g(z, f2) } ³ PД.

Це співвідношення вірне при будь-якім значенні параметра a (оскільки це так для (1)), і тому, відповідно до визначення, випадковий інтервал (g (z, f₁), g (z, f₂)) є довірчим для a з рівнем довіри Р_Д. Якщо спадає по , інтервалом є (g (z, f₂), g (z, f₁)).

Для побудови однобічної границі для a виберемо значення і так, щоб

P{ j(z, a) ³ f₁ } ³ P_Д, f₁=Q (1 - P_Д)

чи P{ j(z, a) £ f₂ } ³ P_Д , f₂ = Q (P_Д),

де - квантиль рівня . Після розв’язання нерівності під знаком одержимо однобічні довірчі границі для a.

Приклад 3.3. Довірчий інтервал з рівнем довіри Р_Д для середнього a нормальної сукупності при відомій дисперсії s ².

Нехай x ,..., x_n - вибірка з нормальної N (a, s ) сукупності. Спроможною оцінкою для а є â = â (x ,...,x_n) = , розподілена за законом N (a, ).

Введемо її нумерацію, утворивши випадкову величину

, (3.2)

яка розподілена нормально N (0, 1) при будь-якім значенні а.

По заданому рівні довіри Р_Д визначимо для j відрізок [- f_p, f_p ] так, щоб

, (3.3)

тобто f_p - квантиль порядку (1+ Р_Д)/2 розподілу N (0,1); помітимо, що j залежить від а, але (3.3) вірно при будь-якім значенні а. Підставимо в (3.3) виразу для j з (3.2) і розв’язуючи нерівність під знаком ймовірності в (3.3) відносно а; одержимо співвідношення

, (3.4)

виконується при будь-якім значенні а. Під знаком імовірності дві функції спостережень

, (3.5)

визначають випадковий інтервал

I (x₁,..., x_n) =(a₁ (x₁,..., x_n), a₂ (x₁,..., x_n)), (3.5a)

який у силу (3.4) накриває невідоме значення параметра а з великою імовірністю Р_Д при будь-якому значенні а, і тому, по визначенню довірчого інтервалу, він є довірчим з рівнем довіри Р_Д.

У загальному випадку випадкову величину j у (1) можна побудувати таким чином. Визначимо функцію розподілу F (z / a) статистики z (F, звичайно, залежить від а). Для неперервної z випадкова величина j (z, а) º F(z / a), як неважко бачити, розподілена рівномірно на відрізку [0, 1] при будь-якім значенні а; прийнявши f₁= (1- P_Д)/ 2, f₂ = (1+P_Д)/ 2, будемо мати (3.4) у вигляді

P{f1 £ F (z / a) £ f ₂} = P_Д.

Для дискретної z ситуація аналогічна.

Можна міркувати інакше: при будь-якому фіксованому значенні а визначимо відрізок [ z ₁(a), z ₂(a) ] так, що

P{ z₁ (a) £ z £ z₂ (a) } ³ Р_Д; (3.6)

ясно, що в якості z₁ і z₂ можна взяти квантилі, тобто визначити з умов

F (z _!/ a)=(1- Р_Д)/ 2, F (z ₂/ a)=(1+ Р_Д)/ 2.

Якщо z₁ (a) і z₂ (a) монотонно зростають по а, то, розв’язуючи дві нерівності під знаком Р в (3.6) і беручи до уваги те, що z ₁(a) < z ₂(a), одержимо:

P{ z ₂^-1(z) £ a £ z₁^-1(z) } ³ Р_{Д ,}

є вірним при будь-якому а; ясно, що інтервал (z₂^-1 (z), z₁^-1 (z)), обумовлений двома функціями від z, є довірчим з рівнем довіри Р _Д.

3.2. Рівень довіри

Рівень довіри Р_Д означає, що правило визначення інтервалу дає вірний результат з імовірністю Р_Д, що звичайно вибирається близькою до 1, однак, 1 не дорівнює. Переконаємося статистично на прикладі в тім, що довірчий інтервал з рівнем довіри Р_Д може не містити (з малою імовірністю 1- Р_Д) істинне значення параметру.

Приклад 3.4. Розглянемо наведений у (3.5) випадковий інтервал I(x₁,..., x_n), що при будь-якім значенні а накриває це значення з великою імовірністю Р_Д:

Р { I (x₁,...,x_n) є a } = Р _Д,

і тому, якщо знехтувати можливістю здійснення події a Ï I, що має малу імовірність (1- Р_Д), можна вважати подія a Î I(x₁,...,x_n) є практично достовірною, тобто можна вірити тому, що обчислений за конкретними спостереженнями x₁,...,x_n інтервал I містить невідоме значення параметра а.

Проведемо випробування інтервалу (3.5) на 50 вибірках обсягу n= 10 для трьох рівнів довіри Р _Д: 0.9, 0.99, 0.999 (відповідно, три значення f_p).

При Р _Д = 0.9 число невірних з k =50 результатів виявиться в околиці 5, тому що середнє число невірних

k (1- Р _Д) = 5.

При Р _Д =0.99 поява хоча б одна невірного з k =50 досить ймовірна: імовірність цієї події 1- Р _Д ^k=1-0.99⁵⁰» 0.61.

При Р _Д =0.999 поява хоча б одна невірного є сумнівною: імовірність цієї події 1- Р _Д ^k=1-0.999⁵⁰» 0.05.

3.3. Завдання для самостійної роботи

1. Визначити, скільки разів з k =50 довірчий інтервал виявився невірним;

Це зробимо для трьох значень Р _Д. Графіки для Р _Д =0.9 і Р _Д =0.99 роздрукувати.

2. Провести аналогічно 50 випробувань довірчого інтервалу (3.7) - (3.9) для випадку невідомої дисперсії.

Інтервали для параметрів нормального розподілу.

Нехай х₁, …,х_n - вибірка з нормального N(a,s²⁾ розподілу; значення середнього а і дисперсії s² невідомі. Оцінки для а і s² мають вигляд:

, . (3.7)

Як відомо, довірчим інтервалом для середнього а з рівнем довіри Р _Д при невідомій дисперсії є інтервал

I (x) = (a₁ (х), a₂ (х)), (3.8)

де , , (3.9)

t_p - квантиль порядку (1+ Р _Д)/2 розподілу Стьюдента з n-1 ступенями волі.

Довірчим інтервалом для стандартного відхилення s з рівнем довіри Р _Д є інтервал

I (x) = (s₁ (х), s₂ (х)), (3.10)

де , , (3.11)

тут t₁ і t₂ - квантилі порядків відповідно (1+ Р _Д)/2 і (1- Р_Д)/2 розподілу хі-квадрат з n-1 ступенями волі.

Читачеві пропонується самостійно згенерувати вибірку обсягу n=20 з нормального розподілу з параметрами a = 10, s²= 2²=4 і визначити довірчі інтервали для a і s з рівнем довіри Р _Д: 0.8, 0.9, 0.95, 0.98, 0.99, 0.995, 0.998, 0.999. Результати виписати у вигляді таблиці. Зі зростанням Р _Д інтервал розширюється, зі зростанням n - зменшується.

Якщо нас цікавлять не інтервали, а верхні чи нижні довірчі границі, то, як відомо, вони визначаються тими ж формулами (3.9) та (3.11), однак значення порогових значень t змінюються. Наприклад, нижньою довірчою границею для a з рівнем довіри Р _Д є значення

,

де t_p - квантиль порядку Р _Д розподілу Стьюдента з n-1 ступенями волі, а верхньою границею для s з рівнем довіри Р _Д є

,

де t₂ - квантиль порядку 1- Р _Д розподілу хі-квадрат з n-1 ступенями волі.

Завдання: визначити верхні довірчі границі для а і s з рівнем довіри Р _Д = 0.95.

1) для заданої задачі побудувати оцінку заданим методом (варіанти завдань див. нижче);

2) побудувати довірчий інтервал, заснований на цій оцінці;

3) згенерувати вибірку заданого обсягу;

4) обчислити довірчий інтервал.

Звіт по роботі повинен містити:

постановки питань, формули, графіки випробування довірчого інтервалу для двох випадків: з відомою і невідомою дисперсією (по п. 1.2), таблицю довірчих інтервалів для різних Р_Д (по п. 1.3), вивод формул для оцінок і інтервалів, згенеровану вибірку й обчислений інтервал (по п. 1.4).

Варіанти.

Задача 1. Відстань а до деякого об'єкта вимірялася n₁ раз одним приладом і n₂- другим; результати х₁,…,х_n1; y₁,…,y_n2... Обидва прилади при кожнім вимірі дають незалежні випадкові похибки, нормально розподілені із середнім 0 і стандартними відхиленнями s₁ і s₂ відповідно. Методом максимальної правдоподібності побудувати оцінку â для а і довірчий інтервал з рівнем довіри Р_Д.

Варіанти вихідних даних

Дані вимірювання одержати шляхом генерації випадкових величин з заданими параметрами.

Розв’язок (без висновку). Оцінка

, де з = ;

довірчий інтервал

I=(, ),

де - квантиль порядку (1+ Р_Д)/2 розподілу N(0,1).

Задача 2. Виготовлено велику партію з N =10000 приладів. Відомо, що час безвідмовної роботи випадково і розподілено за експоненційним законом з щільністю

, x ³ 0

З метою визначення значення параметра а цієї партії були поставлені на іспити n приладів; часи безвідмовної роботи виявилися рівними х₁,…,х_n. Методом моментів побудувати оцінку для а і довірчий інтервал з рівнем довіри Р_Д. Крім того, побудувати довірчий інтервал для числа М приладів, що мають час безвідмовної роботи менш 50 годин.

Варіанти вихідних даних

Дані вимірювання одержати шляхом генерації випадкових величин з заданими параметрами.

Розв’язок (без висновку). Оцінка

;

довірчий інтервал для а

I_a = (, ),

де t₁=Q (2n, (1- Р_Д)/ 2), t₂=Q (2n, (1+Р_Д)/ 2) - квантилі розподілу хі-квадрат з 2n ступенями волі; довірчий інтервал для М

I_M = (N (1- exp (- )), N (1- exp (- ))).

Приклад 3.5. Деяка невідома відстань а вимірялося з адитивною випадковою помилкою e, розподіленої за законом Коші з щільністю

p _e (x) = , - ¥ < x < ¥.

За результатами х₁,…,х_n незалежних вимірів методом порядкових статистик побудувати оцінку для а і наближений довірчий інтервал з коефіцієнтом довіри Р_Д.

Варіанти вихідних даних

Дані вимірювання одержати шляхом генерації випадкових величин з заданими параметрами.

Розв’язок(без висновку). Оцінкою для а є вибіркова медіана - порядкова статистика з номером [ n/2 ] + 1

,

або

(у цих статистик асимптотичні властивості однакові). Наближений довірчий інтервал, заснований на асимптотичному розподілі вибіркової р-квантилі

I =(),

де t_p=Q((1+Р_Д)/2) - квантиль порядку (1+ Р_Д)/2 розподілу N(0,1).

Задача 4. У водоймі живе деяка біологічна популяція, що складається із суміші істот двох віків. Довжина істоти - випадкова величина, розподілена по нормальному законі N(a_i, s_i² ), де i=1,2 - індекс, що відноситься до віку. З метою визначення частки q істот 1-го віку проведений вилов n істот і обмірюваний їхня довжина. За результатами х₁,…,х_n методом моментів побудувати оцінку для q і наближений довірчий інтервал з рівнем довіри Р_Д. Побудувати гістограму спостережень.

Варіанти вихідних даних

Прийняти s₁=1див, s₂=1див. Виміру одержати моделюванням із заданим значенням q.

Розв’язок (без висновку):

I = (q₁, q₂),

,

a_n º ,

t_p - квантиль порядку (1+ Р_Д)/ 2 для N (0,1).

4. Методи побудови оцінок

4.1. Метод моментів

4.2. Метод найбільшої правдоподібності

4.3. Властивості оцінок найбільшої правдоподібності

4.1. Метод моментів

Нехай x₁,..., x_n - n незалежних спостережень над випадковою величиною x з функцією розподілу F (x/a), що залежить від параметра a º (a₁,..., a), n³R; значення параметра потрібно оцінити за спостереженнями.

Нехай m_k = Mx^k - момент порядку k. Моменти є функціями параметра a: m_k= f_k(a₁,..., a). Нехай існують перші R моментів m₁,..., m. Якби моменти були відомі, можна було б скласти систему рівнянь для визначення параметрів по моментах:

m₁ = f₁ (a₁,...,a_R),

...

m = f (a₁,...,a);

нехай ця система розв'язана відносно a:

a₁ = g₁(m₁,...,m_R),

... (4.1)

a_R = g_R(m₁,...,m_R).

коли розв’язується задача оцінювання, то значення моментів невідомі, однак, для моментів є незміщені і спроможні оцінки

, k =1,...,R.

Шляхом підстановки їх у (4.1) замість m_k, одержимо деякі оцінки для a_j:

(x₁,... x_n) = g₁ ( ₁,..., _R),

...

(x₁,... x_n) = g_R ( ₁,..., _R),

які називають оцінками методу моментів.

Ці оцінки, взагалі кажучи, не є незсуненими та їх надалі треба виправити. Справедливі наступні властивості.

1. Якщо функції g_j (×), j = 1,..., R, неперервні, то оцінки спроможні.

2. Якщо функції g_j (×) мають похідні, а розподіл при будь-якому a має 2R моментів, то оцінки асимптотично нормальні:

~ N (a_j, .

Зауваження.

1. У рівностях (4.1) замість перших моментів можна взяти будь-які R моментів так, щоб система мала розв'язок.

2. Оцінки методу моментів не завжди мають гарні характеристики. Однак, часто вони досить прості в обчислювальному відношенні.

4.2. Метод найбільшої правдоподібності

Визначення. Нехай є деяка сукупність x º (x₁,..., x_n) спостережень. Розглянемо імовірність (чи щільність) p(x/a) одержати це x при різних a º (a₁,..., a). У якості оцінки візьмемо те значення а, для якого імовірність p(x/a) максимальна; такий спосіб оцінювання називається методом найбільшої (максимальної) правдоподібності.

Функція p(x/a), що розуміється як функція від а, називається функцією правдоподібності. Значення а*, при якій досягається максимум функції правдоподібності, називається оцінкою найбільшої (максимального) правдоподібності:

p(x/a*) = p (x/a). (4.2)

Помітимо, що а* є функція спостережень х: а* = а* (х). При звичайних умовах регулярності максимум знаходиться із системи рівнянь

i = 1,..., R. (4.3)

Приклад 4.1. Нехай х º (х₁,..., x_n) - незалежні спостереження над випадковою величиною, нормально розподіленої з параметрами b і s² (роль двовимірного параметра а у визначенні грає пари b і s²). Щільність розподілу вибірки дорівнює

p(x/ b, s ² ) º p(x₁,..., x_n /b, s ²) = . (4.4)

Оскільки значення х₁,..., x_n відомі, величина p(x₁,..., x_n/b,s²⁾ є функцією від b і s². Розглянемо систему:

Розв’язок цієї системи, тобто оцінки найбільшої правдоподібності:

4.3. Властивості оцінок найбільшої правдоподібності

Нехай x - випадкова величина з законом розподілу q(× /a), xº(x₁,..x_n)- n незалежних спостережень, p(x₁,..., x_n /a) = - розподіл вибірки.

При деяких досить широких умовах оцінки найбільшої правдоподібності мають гарні властивості, а саме, вони спроможні, асимптотично ефективні й асимптотично нормальні з параметрами (для одномірного випадку)

M а* = а, Dа* = { n }^-1

Умови такі: а) незалежність безлічі X = { x: q(x/a) = 0 } від а; б) існування похідних і ; в) існування . Доказ можна знайти, наприклад, у[2].