Понятие оценки. Виды оценок

Рассмотрим следующую общую задачу. Имеется случайная величина , закон распределения которой содержит неизвестный параметр q. Требуется найти подходящую оценку для параметра q по результатам n независимых опытов, в каждом из которых величина X приняла определенное значение.

Обозначим наблюденные значения случайной величины

.

Их можно рассматривать как n «экземпляров» случайной величины X, то есть n независимых случайных величин, каждая из которых распределена по тому же закону, что и случайная величина .

Обозначим оценку для параметра q. Любая оценка, вычисляемая на основе материала, должна представлять собой функцию величин 1… ,Хn ):

= 1… ,Хn )

и, следовательно, сама является величиной случайной. Закон распределения зависит, во-первых, от закона распределения величины X (и, в частности, от самого неизвестного параметра q); во-вторых, от числа опытов n. В принципе этот закон распределения может быть найден известными методами теории вероятностей.

Предъявим к оценке ряд требований, которым она должна удовлетворять, чтобы быть в каком-то смысле «доброкачественной» оценкой.

Пусть 1… ,Хn ) ­ выборка из распределения P и F(x) и Fn) ­ соответственно теоретическая и эмпирическая функции распределения. На

Fn(х) можно смотреть как на функцию распределения некоторой дискретной

случайной величины, принимающей n значений: Х1… ,Хn ­ c вероят­ностями, равными 1/n (если какое­-либо значение встретится в выборке k

раз, то этому значению соответствует вероятность k/n). Об этом распреде­лении говорят как об эмпирическом (экспериментальном) или выборочном распределении (отсюда и термин эмпирическая функция распределения для Fn(х) ) Как для исходного распределения P вводятся различные числовые характеристики (математическое ожидание, или среднее, дисперсия, моменты и т. д.), так и для эм­пирическогo распределения, связанного с выборкой 1… ,Хn ), вводятся аналогичные характеристики, называемые эмпирическими (или выборочными): выборочное среднее, выборочная дисперсия и т.д. Таким образом, эмпирическая (или выборочная) характеристика является статистическим аналогом соответствующей теоретической характеристики, аналогично тому, как эмпирическая функция распределения Fn(х) является статистическим аналогом теоретической функции распределения F(x). В общем случае, если g = Eg(X) есть некоторая теоретическая характеристика наблюдаемой случайной величины­, то ее статистический аналог, т. е. соответствующая эмпирическая (или выборочная) характеристика, вычисляется по формуле

 

Замечание 24.1. Любое значение искомого параметра, вычисленное на основе ограниченного числа опытов, всегда будет содержать элемент случайности. Такое приближенное, случайное значение мы будем называть оценкой параметра. Например, оценкой для математического ожидания может служить среднее арифметическое наблюденных значений случайной величины в n независимых опытах. При очень большом числе опытов среднее арифметическое будет с большой вероятностью весьма близко к математическому ожиданию. Если же число опытов n невелико, то замена математического ожидания средним арифметическим приводит к какой-то ошибке. Эта ошибка в среднем тем больше, чем меньше число опытов. Так же будет обстоять дело и с оценками других неизвестных параметров. Любая из таких оценок случайна; при пользовании ею неизбежны ошибки. Желательно выбрать такую оценку, чтобы эти ошибки были по возможности минимальными.

 

Оценка неизвестных параметров. Задача оценивания неизвестных параметров возникает в тех случаях, когда функция распределения генеральной совокупности известна с точностью до параметра θ (тета: обозначение параметра) . В этом случае необходимо найти такую статистику (функцию) (Х1… ,Хn ), выборочное значение = (x1, x2, …xn) которой для рассматриваемой реализации (x1, x2, …xn) случайной выборки можно было бы считать приближенным значением параметра .

Статистику (Х1… ,Хn ), выборочное значение которой для любой реализации (x1, x2, …xn) принимают за приближенное значение неизвестного параметра θ, называют его точечной оценкой или просто оценкой, а значением точечной оценки (просто оценки).

 

Возможным является и иной подход к решению рассматриваемой задачи: найти такие статистики * (Х1… ,Хn ) и * (Х1… ,Хn ) чтобы с вероятностью α выполнялось неравенство P ( * (Х1… ,Хn ) ≤ θ ≤ * (Х1… ,Хn )) = α, то есть с заданной вероятностью значение параметра попадало бы в полученный интервал.

В этом случае говорят об интервальной оценке для θ. Интервал

( * (Х1… ,Хn ) ≤ θ ≤ * (Х1… ,Хn ))называют доверительным интервалом для θ с коэффициентом (уровнем) доверия α

 

Точечные оценки

 

Замечание 24.2.. Термин «точечная» связан с тем, что в качестве заменителя неизвестного параметра предлагается конкретное число. Это «хорошо», поскольку позволяет поставить конкретное значение в формулу распределения и тем самым полностью его восстановить, и «плохо», поскольку мы не знаем, насколько хорошо наше приближение. Соответствующие формулы являются асимптотическими и является ли наше (точное) n (точно) достаточным для такого вывода неочевидно. Более того (как будет показано далее) существует непреодолимый «зазор» между оценкой и истинным значением параметра (информационное неравенство) о-

 

Итак, оценка - это функция от нашей выборки. Но функций от выборки можно придумать великое множество. Очевидно, что эта функция должна еще «хорошо приближать» оцениваемый параметр. Поэтому оценка должна удовлетворять нескольким условиям:

 

Определения 24.1.

 

Оценка (Х1… ,Хn ) называется состоятельной оценкой параметра θ, если

(Х1… ,Хn )→ θ по вероятности при n→∞

 

Кроме того, желательно, чтобы, пользуясь величиной вместо θ, мы по крайней мере не делали систематической ошибки в сторону завышения или занижения, т. е. чтобы выполнялось условие

Оценка (Х1… ,Хn )называется несмещенной, если

Е ( (Х1… ,Хn )) = θ

Наконец, желательно, чтобы выбранная несмещенная оценка обладала по сравнению с другими «хорошими» оценками наименьшей дисперсией, т. е.

D[ ] = min .

Оценка, обладающая таким свойством, называется эффективной.

Замечание 24.3. На практике не всегда удается удовлетворить всем этим требованиям. Например, может оказаться, что, даже если эффективная оценка существует, формулы для ее вычисления оказываются слишком сложными, и приходится удовлетворяться другой оценкой, дисперсия которой несколько больше. Иногда применяются - в интересах простоты расчетов - незначительно смещенные оценки (см., например, описание выборочной дисперсии). Таким образом, выбор оценки всегда предваряется рассмотрением соответствия ее указанным требованиям и ее эффективности.

Замечание 24.4. Несмещенность и состоятельность – это лишь два из требований, предъявляемых к оценкам. Также существенными является (не рассматриваемая здесь) инвариантность относительно сдвига, и др.

 

Определение 24.2. Выборочное среднее = . Выборочное среднее является средним значением (математическим ожиданием) для эмпирической функции распределения.

Пример 24.1. Выборочное среднее является несмещенной состоятельной оценкой для математического ожидания.

 

Определение 24.3. Выборочная дисперсия . Выборочная дисперсия характеризует среднеквадратичное отклонение выборочных величин от выборочного среднего.

 

Замечание 24.5. В определении выборочной дисперсии должен бы использоваться множитель (смещенная оценка) , а не , но тогда не соблюдается условие несмещенности. Выборочную дисперсию с множителем называют еще исправленной выборочной дисперсией.

 

Пример 24.2. Выборочная дисперсия является несмещенной состоятельной оценкой для дисперсии

 

Замечание 24.6. Так же как и для дисперсии (см. свойства дисперсии) для выборочной дисперсии для удобства вычислений нередко пользуются таким равенством :

 

 

 

Пример 24.3. Дана выборка 92, 94, 103, 105, 106. Найти оценки для математического ожидания и (несмещенную) дисперсии.

Выборочное среднее:

 

 

 

 

Определение 24.4. Выборочный (начальный) момент порядка k

. Выборочный момент является моментом порядка k для эмпирической функции распределения.

 

Пример 24.3. Выборочный момент порядка k является несмещенной состоятельной оценкой начального момента k-го порядка.

 

Замечание 24.7. Аналогично случаю начальных моментов случайной величины Х, выборочное среднее (выборочное математическое ожидание) является выборочным начальным моментом 1 порядка

 

Определение 24.5. Выборочный (центральный) момент порядка k

 

 

Пример 24.4. Выборочный центральный момент k-го порядка является состоятельной оценкой центрального момента k-го порядка.

 

Замечание 24.8. Аналогично случаю центральных моментов случайной величины Х, выборочная дисперсия является выборочным центральным моментом 2

порядка

 

Определение 24.6. Случайной выборкой объема n, отвечающей паре случайных величин (X,Y) называется набор n независимых, одинаково распределенных пар случайных величин (X1 , Y1 ), (X2 , Y2 ), … (Xn , Yn ), каждая из которых имеет такое же совместное распределение как и пара величин (X,Y)

 

Определение 24.7. Выборочная ковариация

 

Определение 24.8. Выборочный коэффициент корреляции

 

 

 

 

Пример 24.5. Выборочная ковариация является несмещенной состоятельной оценкой ковариации

Пример 24.6. Выборочный коэффициент корреляции является состоятельной оценкой коэффициента корреляции

 

Вернемся к рассмотрению эффективной оценки . Из группы оценок, удовлетворяющих несмещенности, состоятельности и пр., выбирают наиболее эффективную, то есть оценку с наименьшей дисперсией

Рассмотренные выше оценки являются наиболее эффективными (в своих классах).

 

Замечание 24.9. Иногда вместо термина „эффективная оценка" говорят „несмещенная оценка с минимальной дисперсией", „оптимальная оценка".

 

Итак, дисперсия оценки – часто используемая мера качества оценки. Чем она меньше, тем оценка лучше. Однако, при определенных условиях существует нижняя граница для величины этой дисперсии, которую уже нельзя улучшить. То есть, даже самая лучшая оценка будет иметь дисперсию не меньшую некоторой величины. Соответствующее утверждение носит название Неравенства Рао-Крамера.

 

D (Х1… ,Хn1 / nI(q), где - количество информации по Фишеру (информация Фишера) – частная производная логарифма плотности (в случае непрерывной модели, или вероятности – дискретной) по параметру, а (Х1… ,Хn ) - несмещенная оценка неизвестного параметра θ.

 

Определение 24.8. Оценка (Х1… ,Хn ) называется асимптотически нормальной с дисперсией Δ2, если

( q ) сходится при n →∞ по распределению к стандартному нормальному закону (нормальное распределение при нулевом математическом ожидании и дисперсии, равной 1)

 

Методы построения оценок (метод моментов, метод максимального правдоподобия)

Рассмотрим методы определения точечных оценок параметров от которых зависит распределение генеральной совокупности X.

 

В математической статистике разработано большое число методов оценивания неизвестных параметров по данным случайной выборки, из которых в приложениях наиболее часто используются:

 

- метод моментов;

- метод максимального правдоподобия;

 

Мы рассмотрим

 

Метод моментов.

Метод моментов был предложен английским статистиком К. Пирсоном и является одним из первых общих методов оценивания. Он состоит в следующем.

Пусть имеется случайная выборка из генеральной совокупности X, распределение которой известно с точностью до вектора параметров

Требуется найти оценку параметра по случайной выборке .

 

Будем предполагать, что у случайной величины X существуют первые r моментов: mk = EXk, k=1,2…,r. Ясно, что величины mk являются функциями неизвестного вектора параметров , т.е. mk = mk ( )

 

Рассмотрим выборочные моменты

 

Выборочные моменты являются состоятельными оценками соответствующих моментов генеральной совокупности X, поэтому при большом объеме выборки mk , к= 1,…r, можно заменить соответственно моментами и

выборки

В методе моментов в качестве точечной оценки

вектора параметров в берут

статистику , значение которой для любой реализации случайной

выборки получают как решение системы уравнений

k=1,…,r

Можно показать, что при определенных условиях оценка, полученная методом моментов, является состоятельной и имеет асимптотически нормальное распределение, т.е. ее распределение при n→∞ стремится к нормальному.

Замечание 24.10

 

Метод моментов не применим, когда моменты генеральной совокупности нужного порядка не существуют (например, для распределения Коши, у которого не существует даже начальный момент первого порядка — математическое ожидание ).

Пример 24.7.

 

Методом моментов найдем оценку параметра θ = p в биномиальной модели, где р есть вероятность „успеха" в любом из п независимых повторных наблюдений, а

случайная величина — число „успехов". Случайной выборкой в данном случае являются n дискретных случайных величин Хi, каждая из которых принимает значение 1 с вероятностью р и 0 с вероятностью 1—р. При этом

а математическое ожидание .Если в результате n независимых наблюдений мы получили выборочное значение , то уравнение, которое нужно составить согласно методу моментов, имеет вид np = k .

Получаем . Следовательно, точечной оценкой параметра р является относительная частота.

 

Метод максимального правдоподобия.

Одним из наиболее универсальных методов оценивания параметров является метод максимального правдоподобия (предложенный Р. Фишером), суть которого состоит в следующем.

Рассмотрим функцию правдоподобия случайной выборки

из генеральной совокупности X, распределение которой известно с точностью до параметра в

Определение 24.9

Оценкой максимального правдоподобия параметра вназывают статистику , значения в которой для любой выборки хn удовлетворяют условию , то есть для выборки функция правдоподобия, как функция аргумента достигает наибольшего значения.

Мы исходим из того, что те величины, которые мы наблюдаем, являются наиболее вероятными. Тогда и произведение вероятностей (плотностей) – функция правдоподобия - наблюдаемых значений мы вправе ожидать принимающим наибольшее значение.

 

Как мы помним из математического анализа необходимым условием экстремума является равенство нулю производной (в случае функции нескольких переменных – частной)

но поскольку взятие производной от большого произведения технически сложно, рассматривают не саму функцию правдоподобия, а ее натуральный логарифм , что упрощает уравнение, а точку экстремума оставляет неизменной.

 

Определение 24.10

Эти два уравнения называют уравнениями правдоподобия. Для наиболее важных семейств распределений уравнение правдоподобия имеет единственное решение .

 

Пример 24.8.

Применим метод максимального правдоподобия для оценки параметра θ = р в биномиальной модели, где р имеет смысл вероятности „успеха" в любом из n независимых повторных испытаний (испытаний по схеме Бернулли), в которых было зафиксировано k „успехов".

В рассматриваемом случае значения функции правдоподобия L(k;p) есть вероятность появления к „успехов" в серии из n испытаний. Эта вероятность, как известно, определяется по формуле Бернулли, т.е.

Находя

получаем уравнение правдоподобия в виде

'

откуда получаем = k/n. Нетрудно убедиться в том, что р есть точка максимума L(k;p). Следовательно, оценка максимального правдоподобия вероятности р совпадает с относительной частотой „успеха" в n испытаниях.

Замечание 24.11

Мы рассмотрели метод моментов и метод максимального правдоподобия для дискретных случаев. Для абсолютно непрерывных величин суть методов остается той же, но становится технически более сложной, поэтому мы оставили эту часть за рамками рассмотрения.

 








Дата добавления: 2017-06-02; просмотров: 1316;


Поиск по сайту:

При помощи поиска вы сможете найти нужную вам информацию.

Поделитесь с друзьями:

Если вам перенёс пользу информационный материал, или помог в учебе – поделитесь этим сайтом с друзьями и знакомыми.
helpiks.org - Хелпикс.Орг - 2014-2024 год. Материал сайта представляется для ознакомительного и учебного использования. | Поддержка
Генерация страницы за: 0.051 сек.