Метод наибольшего правдоподобия

Метод наибольшего правдоподобия, применяемый для определения точечной оценки, опирается на использование условий экстремума функции одной или нескольких случайных величин. В качестве такой функции принимают функцию правдоподобия.

Для дискретной случайной величины функция правдоподобия принимает вид

L = p (x ₁, ) p (x ₂, ) … р (х_n, ),

где х ₁, х ₂,..., х_n – варианты выборки;

– параметр, для которого находится оценка;

р (х_i, ) – вероятность события X = x_i, зависящая от параметра .

Так как функции L и ln L достигают максимума при одном и том же значении , то обычно точки экстремума находятся для ln L. Для этого определяется производная и приравнивается к нулю. На основании достаточного условия (вторая производная должна быть отрицательна) можно убедиться, что полученная точка является точкой максимума.

Для непрерывных случайных величин функция правдоподобия выбирается в виде

L = f (x ₁, ) f (x ₂, ) … f (x_n, ),

где f (x_i, ) – заданная функция плотности вероятности в точках х_i.

Чаще всего метод наибольшего правдоподобия используется при биномиальном, пуассоновском и показательном распределениях случайной величины.

В случае биномиального распределения

,

где Р_r (m) – вероятность появления ровно m раз события А (случайной величины) в r испытаниях;

р – вероятность появления события А в одном испытании.

Величина р может рассматриваться как параметр. Если проводится n опытов по r испытаний в каждом и фиксируется число появлений события (величины) в каждом испытании х_i, то при подстановке этого значения в формулу биномиального распределения получаем

Тогда функция правдоподобия примет вид

L = p_r (x ₁, p) p_r (x ₂, p) … р_r (х_n, p).

После логарифмирования и приравнивания к нулю производной от ln L получаем выражение для оценки

.

Если значения х_i, встречаются n_i раз, то оценка параметра р принимает вид

где n = n ₁ + n ₂ + … + n_k – число опытов по r испытаний в каждом.

В случае пуассоновского распределения

и подстановки вариант выборки получаем

.

Составив функцию правдоподобия L, дифференцируя ln L и приравнивая его производную к нулю, находим оценку параметра в виде

или

В случае показательного распределения

функция правдоподобия для выборочных значений х ₁, x ₂, …, х_n примет вид

.

После преобразований получаем выражение для оценки параметра :

.