Метод наибольшего правдоподобия

Пусть имеется некоторая совокупность x º (x₁,..., x_n) наблюдений. Рассмотрим вероятность (или плотность) p(x/a) получить это x при различных a º (a₁,..., a_R). в качестве оценки возьмем то значение а, для которого вероятность p(x/a) максимальна; такой способ оценивания называется методом наибольшего (максимального)правдоподобия.

Функция p(x/a), понимаемая как функция от а, называется функцией правдоподобия. Значение а*, доставляющее максимум функции правдоподобия, называется оценкой наибольшего (максимального) правдоподобия:

p(x/a*) = p (x/a). (2)

Заметим, что а* есть функция наблюдений х: а* = а* (х). При обычных условиях регулярности максимум находится из системы уравнений

i = 1,..., R. (3)

Пример. Пусть х º (х₁,..., x_n) - независимые наблюдения над случайной величиной, нормально распределенной с параметрами b и s² (роль двумерного параметра а в определении играет пара b и s²). Плотность распределения выборки

p(x/ b, s ² ) º p(x₁,..., x_n /b, s ²) = . (3)

Поскольку значения х₁,..., x_n известны, величина p(x₁,..., x_n/b,s²) является функцией от b и s². система (3):

Решение этой системы, т.е. оценки наибольшего правдоподобия:

Свойства оценок наибольшего правдоподобия.

Пусть x - случайная величина с законом распределения q(× /a), xº(x₁,..x_n)- n независимых наблюдений, p(x₁,..., x_n /a) = - распределение выборки.

При некоторых достаточно широких условиях оценки наибольшего правдоподобия обладают хорошими свойствами, а именно, они состоятельны, асимптотически эффективны и асимптотически нормальны с параметрами (для одномерного случая)

M а* = а, Dа* = { n }^-1

условия таковы: а) независимость множества X = { x: q(x/a) = 0 } от а; б) существование производных и ; в) существование . Доказательство можно найти, например, в [2].