Метод максимального правдоподобия. Функция правдоподобия в непрерывном и дискретном случаях. Оценка максимального правдоподобия и их основные свойства

Метод наибольшего правдоподобия.

Пусть Х – дискретная случайная величина, которая в результате п испытаний приняла значения х ₁, х ₂, …, х_п. Предположим, что нам известен закон распределения этой величины, определяемый параметром Θ, но неизвестно численное значение этого параметра. Найдем его точечную оценку.

Пусть р (х_i, Θ) – вероятность того, что в результате испытания величина Х примет значение х_i. Назовем функцией правдоподобия дискретной случайной величины Х функцию аргумента Θ, определяемую по формуле:

L (х ₁, х ₂, …, х_п; Θ) = p (x ₁,Θ) p (x ₂,Θ)… p (x_n,Θ).

Тогда в качестве точечной оценки параметра Θ принимают такое его значение Θ* = Θ(х ₁, х ₂, …, х_п), при котором функция правдоподобия достигает максимума. Оценку Θ* называют оценкой наибольшего правдоподобия.

Поскольку функции L и ln L достигают максимума при одном и том же значении Θ, удобнее искать максимум ln L – логарифмической функции правдоподобия. Для этого нужно: 1)найти производную ;

2)приравнять ее нулю (получим так называемое уравнение правдоподобия) и найти критическую точку;

3)найти вторую производную ; если она отрицательна в критической точке, то это – точка максимума.

Достоинства метода наибольшего правдоподобия: полученные оценки состоятельны (хотя могут быть смещенными), распределены асимптотически нормально при больших значениях п и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками; если для оцениваемого параметра Θ существует эффективная оценка Θ*, то уравнение правдоподобия имеет единственное решение Θ*; метод наиболее полно использует данные выборки и поэтому особенно полезен в случае малых выборок.

Недостаток метода наибольшего правдоподобия: сложность вычислений.

Для непрерывной случайной величины с известным видом плотности распределения f (x) и неизвестным параметром Θ функция правдоподобия имеет вид:

L (х ₁, х ₂, …, х_п; Θ) = f (x ₁,Θ) f (x ₂,Θ)… f (x_n,Θ).

Оценка наибольшего правдоподобия неизвестного параметра проводится так же, как для дискретной случайной величины.