Методы оценивания параметров

Наиболее часто используются 3 метода:

1. метод максимального правдоподобия;

2. метод моментов;

3. оценивание по Байесу.

Мы будем рассматривать только метод максимального правдоподобия.

Метод максимального правдоподобия( предложен Фишером )

Пусть P(x; Q₁, Q₂,.., Q_n) -плотность распределения случайной величины X, Q_i - параметр функции распределения. Считается, что вид плотности распределения функции - известен. Пусть имеем выборку из n независимых наблюдений из одного и того же распределения. Совместную плотность при этом можно записать так

g_n(X \ Q) = g_n(x₁, x₂,..,x_n \ Q) = f(x₁ \ Q) f(x₂ \ Q) .... f(x_n \ Q)

Совместное распределение наблюдений, рассматриваемое как функция неизвестного параметра Q, называется функцией правдоподобия (ФП) выборки.

g_n(X \ Q) = f(x₁ \ Q) f(x₂ \ Q) .... f(x_n \ Q)

Те значения выборки Q, для которых функция правдоподобия достигает максимума ( так как события x₁, x₂,..,x_n - уже произошли, то они имеют максимальную вероятность, равную 1! ), называются оценками максимального правдоподобия.

ОМП -оценки максимального правдоподобияобладаютследующими свойствами:

n оценки асимптотически несмещенные ( ! асимпто-тическая несмещенность ОМП вовсе не означает что оценки всегда не смещены );

n асимптотически нормальные;

n асимптотически эффективные.

Более удобно работать с логарифмической функцией правдоподобия. Переход к логарифмической функции правдоподобия возможен потому, что значения аргументов, максимизирующие функцию и ее логарифм - совпадают

(*) ln(X \ Q) = ln_ng(X \ Q) =

Если функция правдоподобия достаточно гладкая, то есть имеет 1-ую и 2-ую производные, то ее максимум ищется приравниванием нулю частных ее производных по каждому из параметров Qi.

Или, что то же самое,

(**)

Пример: оценивание параметров функции правдоподобия. (нормальное распределение)

f(x,Q₁, Q₂) =