Метод наибольшего правдоподобия

Пусть F_X (x)= F (x; ) – известная функция распределения с.в. X с неизвестным параметром =( ₁, ₂,…, _s) из пространства R ^s (s≥1). Пусть, далее X ₁,..., X_n – выборка объёма n из значений с.в. X. Найдём точечную оценку параметра .

Рассмотрим функцию

где P (X_k; ) – вероятность того, что в результате испытания с. в. Х примет значение X_k, a p_X (x; ) – плотность распределения с.в. Х при x = X_k.

Определение 17. Функцию L (X ₁, X ₂,…, X_n; )= f (X ₁; )× f (X ₂; )×…× f (X_n; ) аргумента называют функцией правдоподобия с.в. X.

Упражнение 6. Записать функцию правдоподобия для дискретной и абсолютной непрерывной с.в. X.

Определение 18. Оценкой максимального правдоподобия (ОМП) для неизвестного параметра называют такое значение , при котором достигается максимум функции L = L (X ₁, X ₂,…, X_n; ).

Смысл метода состоит в следующем. Вероятность, описываемая функцией правдоподобия, получить в n опытах выборку X ₁,..., X _n может быть больше или меньше в зависимости от . Но выборка дана. Какое значение параметра следует выбрать в качестве оценки? Видимо то, при котором вероятность получить эту выборку оказывается наибольшей. Поэтому в качестве ОМП и выбирается значение параметра , при котором максимальна функция правдоподобия L. Это значение параметра зависит от выборки и является искомой оценкой .

Определение 19. Функция ln  L (X ₁, X ₂,…, X_n; ) называется логарифмической функцией правдоподобия с.в. X.

Упражнение 7. Показать, что точки максимума функций L и ln L совпадают.

Таким образом, для нахождения ОМП решаем уравнение (его называют уравнением правдоподобия), в случае, когда параметр Î R, и систему уравнений (система уравнений правдоподобия),

когда =( ₁, ₂,…, _s)Î R ^s. Решение уравнения правдоподобия (системы уравнений правдоподобия) и является ОМП .

Пример 8. Пусть X ₁,..., X_n – выборка объёма n из нормального распределения X ~ N (a, b), где a Î R, b >0 – два неизвестных параметра, то есть параметр θ=(a, b)Î R ². Получим его оценку . Плотность этого распределения

.

Перемножив p_X (x; q) в точках X ₁,..., X_n, получим функцию правдоподобия

,

а затем логарифмическую функцию правдоподобия

.

Поскольку и , то система уравнений правдоподобий имеет вид

Решение этой системы даёт хорошо знакомые уже оценки, являющиеся ОМП:

, .

Пример 9. Пусть X ₁,..., X_n – выборка объёма n из схемы Бернулли с вероятностью успеха p Î(0,1). Найти ОМП для неизвестного параметра = p.

Имеем

.

Тогда функция правдоподобия имеет вид

.

Составим логарифмическую функцию правдоподобия:

.

Найдём

=

и запишем уравнение правдоподобия . Решение этого уравнения даёт следующую ОМП: или если то .

Упражнение 8. Пусть X ₁,..., X_n – выборка объёма n из распределения Пуассона с . Найти ОМП для параметра .