Метод максимального правдоподобия

Пусть - выборка, полученная в результате проведения n независимых наблюдений за случайной величиной X. И пусть вид закона распределения величины X, например, вид плотности , известен, но неизвестен параметр , которым определяется этот закон. Требуется по выборке оценить параметр .

В основе метода максимального правдоподобия, предложенного Р. Фишером, лежит понятие функции правдоподобия.

Функцией правдоподобия, построенной на выборке , называется функция аргумента вида

или

,

где - плотность распределения случайной величины X в случае, если X - непрерывная. Если X - дискретная случайная величина, то функция правдоподобия имеет вид

где .

Из определения следует, что чем больше значение функции , тем более вероятно (правдоподобнее), при фиксированном , появление в результате наблюдений чисел .

За точечную оценку параметра , согласно методу максимального правдоподобия, берут такое его значение , при котором функция правдоподобия достигает максимума.

Эта оценка, называемая оценкой максимального правдоподобия, является решением уравнения

Так как функции и достигают максимума при одном и том же значении , то вместо отыскания максимума функции ищут максимум функции .

Таким образом, для нахождения оценки максимального правдоподобия надо:

1. Решить уравнение правдоподобия

.

2. Отобрать то решение, которое обращает функцию в максимум (удобно использовать вторую производную: если

то - точка максимума).

Если оценке подлежат несколько параметров распределения, то оценки определяются решением системы уравнений правдоподобия:

Пример 9.3. Найти оценку параметра а распределения Пуассона методом максимального правдоподобия.

Решение:

В данном случае . Поэтому

При , составляем функцию правдоподобия (для дискретной случайной величины Х)

Тогда

и

.

Уравнение правдоподобия имеет вид:

.

Отсюда находим

.

А так как

,

то оценка является оценкой максимального правдоподобия. Итак .