Введение в помехоустойчивое оценивание

В 1818 году Лаплас предложил метод наименьших модулей для решения задачи линейной регрессии с одним параметром ( наклон ) при произвольном симметричном распределении ошибок измерений.

f(x_i, Q) =

При этом функцию правдоподобия составить можно g_n(x \ Q) = , а уравнение правдоподобия записать нельзя вследствие неаналитического характера функции ( нет производной, так как модуль - негладкая функция ). Поэтому для получения максимально правдоподобных оценок необходимо искать минимум функции L_n(x \ Q) = непосредственно.

Решение дает оценку , равную медиане выборки.

Медиана - значение X, при котором функция распределения Ф(x) = . Если выборку упорядочить по возрастанию, то медиана - значение среднего элемента выборки.

В предыдущем примере:

0.96; 0.97; 1.00; 1.01; 1.02; 1.04; 10.52

1 2 3 4 5 6 7

медиана дает оценку = 1.01, то есть вполне приемлемый результат.

Робастные оценки

Реальные ряды ошибок измерений достаточно хорошо описываются распределениями с тяжелыми хвостами или - загрязненными распределениями.

Пусть измерительное устройство с вероятностью (1 - ) работает в основном режиме, при котором ошибка измерений имеет распределение P₀(z) с дисперсией , и с небольшой вероятностью - в режиме «сбоев», при котором ошибка распределена по закону H(z) c дисперсией . Тогда общее распределение ошибок имеет вид

P(z) = ,

а дисперсия выборочного среднего M , где С_n -выборочное средние, равна , где .

При =1, = 0.1, = 3 имеем = 1.8, а при = 5, = 3.4.

Таким образом, дисперсия выборочного среднего быстро растет с увеличением дисперсии , а при ( когда H - распределение Коши ) выборочное среднее становится несостоятельной оценкой параметра c^*( то есть не сходится по вероятности к c^*).

Задача теории робастного оценивания:

Найти такие оценки параметров, которые были бы нечувствительными к отклонениям ошибок от нормального закона ( наличие выбросов и так далее ), но не слишком бы проигрывали в эффективности по сравнению с оценками МП, если закон распределения ошибок - нормальный.

Считается, что потери 5-10% эффективности - вполне приемлемая плата за устойчивость оценок. Наиболее удачным считается метод помехоустойчивого оценивания, основанный на приеме максимального правдоподобия - M-оценки.

М - оценки

Пусть x₁, x₂,..,x_n- последовательность независимых, одинаково распределенных случайных величин, имеющих непрерывную плотность вероятности f(x - Q), где Q - параметр сдвига. Логарифм функции правдоподобия можно записать

lоg(Q) = L(Q) = , где p(x) = -lоf(x)

Согласно методу МП требуется максимизировать lоg(Q)или, что то же самое, минимизировать K(Q) = .

Предположим, что минимум можно найти путем дифференцирования и решения уравнения K (Q) = 0, то есть поиском соответствующего значения параметра сдвига Q, которое удовлетворяет условию

(*) , где

Решение этого уравнения, минимизирующее K(Q) называется оценкой максимального правдоподобия или М - оценкой параметра Q и обозначается

Приведем учебные примеры распределения погрешностей и соответствующие им оценки максимального правдоподобия:

1. нормальное распределение

, при m = 0 и =1

p = -lnf(x) = ;

Уравнение (*) имеет вид и дает оценку

2. двойное экспоненциальное распределение

; p = -lnf(x) = | x |

Уравнение (*) имеет вид дает оценку , равную медиане.

Хьюбер, используя строгое определение помехоустойчивости, нашел общий вид функций: