Метод максимального правдоподобия

Для получения точечных оценок используют различные методы. Широко применяется метод максимального правдоподобия. Сущность метода заключается в нахождении таких оценок неизвестных параметров, для которых функция правдоподобия при случайной выборке объема n будет иметь максимальное значение.

Пусть плотность распределения случайной величины Х задается функцией f (x, a), где а — неизвестный параметр, входящий в выражение закона распределения. На опыте получена выборка значений х ₁, х ₂, …, х_n. Окружим каждую точку х_i окрестностью длины d. Тогда вероятность попадания в интервал с границами (х_i - d / 2), (х_i + d / 2) приближенно равна f (x, a) d. Если произведено n наблюдений, то вероятность того, что одновременно первое наблюдение попадет в первый интервал, второе — во второй и т.д., есть вероятность совместного осуществления всех этих независимых событий и равна

Р (x, a) = f (x ₁, a)× f (x ₂, a)×…× f (x_n, a)× =

= f (x ₁)× f (x ₂)×…× f (x_n)× . (3.6)

Так как событие с вероятностью Р осуществилось на самом деле при первом же испытании, то естественно предположить, что ему соответствует максимальная вероятность. Поэтому в качестве оценки следует взять то значение а ^* из области допустимых значений параметра а, для которого эта вероятность принимает наибольшее возможное значение, т.е. корень уравнения

. (3.7)

Достаточным условием максимума при этом является выполнение неравенства

. (3.8)

Решение проще получить, если перейти к функции

, (3.9)

которая называется функцией правдоподобия.

Вероятность Р и функция L имеют максимумы при одних и тех же значениях определяемых параметров, так как

. (3.10)

В общем случае, когда требуется оценить одновременно несколько параметров одномерного или многомерного распределения, формулировка принципа максимального правдоподобия сохранится: надо найти такую совокупность допустимых значений параметров а ₁^*, а ₂^*, …, а_k ^*, которая обращает функцию правдоподобия в максимум.

Найдем методом максимального правдоподобия оценку параметра l показательного распределения с плотностью

(3.11)

по выборке х ₁, х ₂, …, х_n.

Функция правдоподобия примет следующий вид:

. (3.12)

Тогда

, (3.13)

, (3.14)

где — среднее выборки.