Вторая задача математической статистики. Критерии согласия.

Выравнивание статистических рядов

Во всяком статистическом распределении неизбежно присутствуют элементы случайности, связанные с тем, что число наблюдений ограничено, что произведены именно те, а не другие опыты, давшие именно те, а не другие результаты. Только при очень большом числе наблюдений эти элементы случайности сглаживаются, и случайное явление обнаруживает в полной мере присущую ему закономерность. На практике мы почти никогда не имеем дела с таким большим числом наблюдений и вынуждены считаться с тем, что любому ста­тистическому распределению свойственны в большей или меньшей мере черты случайности. Поэтому при обработке статистического материала часто приходится решать вопрос о том, как подобрать для данного статистического ряда теоретическую кривую распределения, выражающую лишь существенные черты статистического материала, но не случайности, связанные с недостаточным объемом эксперимен­тальных данных. Такая задача называется задачей выравнивания (сглаживания) статистических рядов.

Задача выравнивания заключается в том, чтобы подобрать теоре­тическую плавную кривую распределения, с той или иной точки зрения наилучшим образом описывающую данное статистическое рас­пределение.

Задача о наилучшем выравнивании статистических рядов, как и вообще задача о наилучшем аналитическом представлении эмпири­ческих функций, есть задача в значительной мере неопределенная, и решение ее зависит от того, что условиться считать «наилучшим». Например, при сглаживании эмпирических зависимостей очень часто исходят из так называемого принципа или метода наименьших квадратов считая, что наилучшим приближением к эмпи­рической зависимости в данном классе функций является такое, при котором сумма квадратов отклонений обращается в минимум. При этом вопрос о том, в каком именно классе функций следует искать наи­лучшее приближение, решается уже не из математических соображении, а из соображений, связанных с физикой решаемой задачи, с учетом характера полученной эмпирической кривой и степени точ­ности произведенных наблюдений. Часто принципиальный характер функции, выражающей исследуемую зависимость, известен заранее из теоретических соображений, из опыта же требуется получить лишь некоторые численные параметры, входящие в выражение функции; именно эти параметры подбираются с помощью метода наименьших квадратов.

Аналогично обстоит дело и с задачей выравнивания статистиче­ских рядов. Как правило, принципиальный вид теоретической кривой выбирается заранее из соображений, связанных с существом задачи, а в некоторых случаях просто с внешним видом статистического распределения. Аналитическое выражение выбранной кривой распре­деления зависит от некоторых параметров; задача выравнивания ста­тистического ряда переходит в задачу рационального выбора тех значений параметров, при которых соответствие между статистиче­ским и теоретическим распределениями оказывается наилучшим.

Предположим, например, что исследуемая величина Х есть ошибка измерения, возникающая в результате суммирования воздействий множества независимых элементарных ошибок; тогда из теоретических соображений можно считать, что величина Х подчиняется нормаль­ному закону:

f(x) = e ^-(x-m)2

σ√2π σ²

и задача выравнивания переходит в задачу о рациональном выборе параметров m и σ в выражении

Критерии согласия

Рассмотрим один из вопросов, связанных с проверкой правдоподобия гипотез, а именно—вопрос о согласован­ности теоретического и статистического распределения.

Допустим, что данное статистическое распределение выравнено с помощью некоторой теоретической кривой f(х)

f(х)

x

Как бы хорошо ни была подобрана теоретическая кривая, между нею и статистическим распределением неизбежны некоторые расхождения. Естественно возникает вопрос: объясняются ли эти расхождения только случайными обстоятельствами, связанными с ограниченным числом наблюдений, или они являются существенными и связаны с тем, что подобранная нами кривая плохо выравнивает данное ста­тистическое распределение. Для ответа на такой вопрос служат так называемые «критерии согласия».

Идея применения критериев согласия заключается в следующем. На основании данного статистического материала нам предстоит проверить гипотезу Н, состоящую в том, что случайная величина Х подчиняется некоторому определенному закону распределения. Этот закон может быть задан в той или иной форме: например, в виде функции распределения F(x) или в виде плотности распределения f(x), или же в виде совокупности вероятностей р_i где p_i -вероятность того, что величина Х попадет в пределы i-го разряда.

Так как из этих форм функция распределения F (х) является наиболее общей и определяет собой любую другую, будем форму­лировать гипотезу Н, как состоящую в том, что величина Х имеет функцию распределения F(x).

Для того чтобы принять или опровергнуть гипотезу Н, рассмот­рим некоторую величину U, характеризующую степень расхожде­ния теоретического и статистического распределений. Величина U может быть выбрана различными способами; например, в качестве U можно взять сумму квадратов отклонений теоретических вероятно­стей Р_i от соответствующих частот р*_i­ или же сумму тех же квад­ратов с некоторыми коэффициентами («весами»), или же максимальное отклонение статистической функции распределения F*(x) от теоре­тической F(x) и т. д. Допустим, что величина U выбрана тем или иным способом. Очевидно, это есть некоторая случайная величина. Закон распределения этой случайной величины зависит от закона распределения случайной величины X, над которой производились опыты, и от числа опытов n. Если гипотеза Н верна, то закон рас­пределения величины U определяется законом распределения вели­чины Х (функцией F(x)) и числом n.

Допустим, что этот закон распределения нам известен. В ре-зультате данной серии опытов обнаружено, что выбранная нами мера расхождения U приняла некоторое значение u. Чем обусловлено это расхождение, случайными причинами или же это расхождение слишком велико и указывает на наличие существенной разницы между теоретическим и статистическим распределениями и, следовательно, на непригодность гипотезы H?.

Предположим, что гипотеза верна, и вычислим в этом предположении вероятность того, что за счет случайных причин, связанных с недостаточным объемом опытного материала, мера расхождения U ока- жется не меньше, чем наблюденное нами в опыте значение u, т. е вычислим вероятность события:

U ≥u.

Если эта вероятность весьма мала, то гипотезу H следует отверг- нуть как мало правдоподобную; если же эта вероятность значительна, следует признать, что экспериментальные данные не противоречат гипотезе Н.

Возникает вопрос о том, каким же способом следует выбирать меру расхождения U? Оказывается, что при некоторых способах ее выбора закон распределения величины U обладает весьма простыми свойствами и при достаточно большом n практически не зависит oт функции F(x). Именно такими мерами расхождения и пользуются в математической статистике в качестве критериев согласия.

Одним из наиболее часто применяемых критериев со­гласия - является «критерий χ2» Пирсона.

Предположим, что произведено n независимых опытов, в каждом из которых случайная величина Х приняла определенное значение. Результаты опытов сведены в k разрядов и оформлены в виде ста­тистического ряда:

Требуется проверить, согласуются ли экспериментальные данные с гипотезой о том, что случайная величина Х имеет данный закон распределения (заданный функцией распределения F (х) или плот­ностью f(x)). Назовем этот закон распределения «теоретическим».

Зная теоретический закон распределения, можно найти теорети­ческие вероятности попадания случайной величины в каждый из разрядов:

P₁ P₂ ••• Pk-

Проверяя согласованность теоретического и статистического рас­пределений, мы будем исходить из расхождений между теоретиче­скими вероятностями рi и наблюденными частотами р*i. Естественно выбрать в качестве меры расхождения между теоретическим и ста­тистическим распределениями сумму квадратов отклонений (р*i,—рi), взятых с некоторыми «весами» c_i:.

k

U=Σ c_i (p*_i-p_i)².

i=1

Коэффициенты сi («веса» разрядов) вводятся потому, что в общем случае отклонения, относящиеся к различным разрядам, нельзя счи­тать равноправными по значимости. Действительно, одно и то же по абсолютной величине отклонение р*_i-р_i, может быть мало значитель­ным, если сама вероятность р_i велика, и очень заметным, если она мала. Поэтому естественно «веса» с_i, взять обратно пропорциональ­ными вероятностям разрядов Р_i.

К. Пирсон показал, что если положить

c_i=n/p_i

то при больших n закон распределения величины U обладает весьма простыми свойствами: он практически не зависит от функции рас­пределения F(х) и от числа опытов n, а зависит только от числа разрядов k, а именно, этот закон при увеличении n приближается к так называемому «распределению χ2» .

При таком выборе коэффициентов Сi мера расхождения обычно обозначается χ2

k

χ2=n Σ (p*_i-p_i)²/pi

i=1

Для удобства вычислений (чтобы не иметь дела с дробными ве­личинами с большим числом нулей) можно ввести n под знак суммы.

Распределение χ2 зависит от параметра r, называемого числом «сте­пеней свободы» распределения. Число «степеней свободы» r равно числу разрядов k минус число независимых условий («связей»), на­ложенных на частоты р*i,. Примерами таких условий могут быть

k

Σ p*_i =1

i=1

если мы требуем только того. чтобы сумма частот была равна еди­нице (это требование накладывается во всех случаях);

k ˜

Σ x_i p*_i = m_x

i=1

если мы подбираем теоретическое распределение с тем условием, чтобы совпадали теоретическое и статистическое средние значения;

k

Σ (x_i-m*_x)² p*_i = D_x

i=1

если мы требуем, кроме того, совпадения теоретической и стати­стической дисперсий и т. д.

Для распределения χ2 составлены специальные таблицы. Пользуясь этими таблицами, можно для каждого зна­чения χ2 и числа степеней свободы r найти вероятность р того, что величина, распределенная по закону χ2 превзойдет это значение. В табл. входами являются: значения вероятности р и число степе­ней свободы r. Числа, стоящие в таблице, представляют собой соот­ветствующие значения χ2.

Распределение χ2 дает возможность оценить степень согласован­ности теоретического и статистического распределений. Будем исхо­дить из того, что величина Х действительно распределена по закону F(X). Тогда вероятность р, определенная по таблице, есть вероятность того, что за счет чисто случайных причин мера расхож­дения теоретического и статистического распределений будет не меньше, чем фактически наблюденное в данной серии опытов значение χ2. Если эта вероятность р весьма мала (настолько мала, что событие с такой вероятностью можно считать практически невозможным), то результат опыта следует считать противоречащим гипотезе Н о том, что закон распределения величины Х есть F(x). Эту гипотезу следует отбросить как неправдоподобную. Напротив, если вероятность р сравнительно велика, можно признать расхождения меж­ду теоретическим и статистическим распределениями несущественными и отнести их за счет случайных причин. Гипотезу Н о том, что величина Х распределена по закону F(x), можно считать правдо­подобной или, по крайней мере, не противоречащей опытным данным.

Таким образом, схема применения критерия χ2 к оценке согласо­ванности теоретического и статистического распределений сводится к следующему:

1) Определяется мера расхождения χ2 по формуле

2) Определяется число степеней свободы r как число разрядов k минус число наложенных связей s:

r=k - s.

3) По г и χ2 с помощью табл. определяется вероятность того, что величина, имеющая распределение χ2 с r степенями свободы, пре­взойдет данное значение χ2. Если эта вероятность весьма мала, гипо­теза отбрасывается как неправдоподобная. Если эта вероятность относительно велика, гипотезу можно признать не противоречащей опытным данным.

Насколько мала должна быть вероятность р для того, чтобы от­бросить или пересмотреть гипотезу, - вопрос неопределенный; он не может быть решен из математических соображений, так же как и вопрос о том, насколько мала должна быть вероятность события для того, чтобы считать его практически невозможным. На практике, если р оказывается меньшим чем 0.1, рекомендуется проверить экспе­римент, если возможно - повторить его и в случае, если заметные расхождения снова появятся, пытаться искать более подходящий для описания статистических данных закон распределения.

Следует особо отметить, что с помощью критерия χ2 (или любого другого критерия согласия) можно только в некоторых случаях опро­вергнуть выбранную гипотезу Н и отбросить ее как явно несо­гласную с опытными данными; если же вероятность р велика, то этот факт сам по себе ни в коем случае не может считаться доказатель­ством справедливости гипотезы H, а указывает только на то, что гипотеза не противоречит опытным данным.

С первого взгляда может показаться, что чем больше вероят­ность р, тем лучше согласованность теоретического и статистиче­ского распределений и тем более обоснованным следует считать выбор функции Р(х) в качестве закона распределения случайной величины. В действительности это не так. Допустим, например, что, оценивая согласие теоретического и статистического распределении по критерию χ2, мы получили р = 0.99. Это значит, что с вероятно­стью 0.99 за счет чисто случайных причин при данном числе опытов должны были получиться расхождения большие, чем наблюденные. Мы же получили относительно весьма малые расхождения, которые слишком малы для того, чтобы признать их правдоподобными. Разум­нее признать, что столь близкое совпадение теоретического и стати­стического распределений не является случайным и может быть объяснено определенными причинами, связанными с регистрацией и обработкой опытных данных (в частности, с весьма распространенной на практике «подчисткой» опытных данных, когда некоторые резуль­таты произвольно отбрасываются или несколько изменяются).

Разумеется, все эти соображения применимы только в тех слу­чаях, когда количество опытов n достаточно велико (порядка несколь­ких сотен) и когда имеет смысл применять сам критерий, осно­ванный на предельном распределении меры расхождения при n—>оо. Заметим, что при пользовании критерием χ2 достаточно большим должно быть не только общее число опытов n, но и числа наблюдений m_i в отдельных разрядах. На практике рекомендуется иметь в каждом разряде не менее 5—10 наблюдений. Если числа наблюдений в от­дельных разрядах очень малы (порядка 1—2), имеет смысл объеди­нить некоторые разряды.

Кроме критерия χ2, для оценки степени согласованности теорети­ческого и статистического распределений на практике применяется еще ряд других критериев. Рассмотрим кри­терий А. Н. Колмогорова.

В качестве меры расхождения между теоретическим и статисти­ческим распределениями А. Н. Колмогоров рассматривает максималь­ное значение модуля разности между статистической функцией рас­пределения F*(х) и соответствующей теоретической функцией рас­пределения:

D=max│F*(x)-F(x) │.

Основанием для выбора » качестве меры расхождения величины D является простота ее вычисления. Вместе с тем ома имеет достаточно npocтой закон распределения. А. Н. Колмогоров доказал, что, какова бы ни была функция распределения F(X) непрерывной случайной ве­личины X, при неограниченном возрастании числа независимых на­блюдений n вероятность неравенства

D√n>λ

стремится к пределу

оо

P(λ)=1- Σ(-1)^kе-^{2k2 λ2} .

k=-оо

Значения вероятности Р(λ), подсчитанные по формуле приведены в таблице

Схема применения критерия А. Н. Колмогорова следующая: строят­ся статистическая функция распределения F* (х) и предполагаемая теоретическая функция распределения F(x), и определяется макси­мум D модуля разности между ними. Далее, определяется величина

λ = D√ n

и по таблице находится вероятность Р(λ). Это есть вероят­ность того, что (если величина X действительно распределена по закону F (х)) за счет чисто случайных причин максимальное расхож­дение между F* (х) и F (х) будет не меньше, чем фактически наблю­денное. Если вероятность Р(Х) весьма мала, гипотезу следует отверг­нуть как неправдоподобную; при сравнительно больших Р (X) ее можно считать совместимой с опытными данными.

Критерий А. Н. Колмогорова своей простотой выгодно отличается от описанного ранее критерия χ2, поэтому его весьма охотно при­меняют на практике. Следует, однако, оговорить, что этот критерий можно применять только в случае, когда гипотетическое распреде­ление F(x) полностью известно заранее из каких-либо теоретиче­ских соображений, т. е. когда известен не только вид функции рас­пределения F (х), но и все входящие в нее параметры. Такой случай сравнительно редко встречается на практике. Обычно из теоретиче­ских соображений известен только общий вид функции F(x), а вхо­дящие в нее числовые параметры определяются по данному стати­стическому материалу. При применении критерия χ2 это обстоятельство учитывается соответствующим уменьшением числа степеней свободы распределения χ2. Критерий А. Н. Колмогорова такого согласования не предусматривает. Если все же применять этот критерий в тех случаях, когда параметры теоретического распределения выбираются по статистическим данным, критерий дает заведомо завышенные зна­чения вероятности Р(λ), поэтому в ряде случаев существует риск принять как правдоподобную гипотезу, в действительности плохо согласую­щуюся с опытными данными.

4.Третья задача математической статистики.

Третья задача матстатистики заключается в нахождении неизвестных параметров распределения.

Мы уже знаем, что для того чтобы найти закон распределения необходимо располагать достаточно большим статистическим материалом, порядка нескольких сотен наблюдений.

На практике часто приходится иметь дело со статистическим материалом ограниченного объема - два-три десятка наблюдений. Причины мгут быть разными(недостаточность времени, высокая стоимость наблюдений и т.д.). Ограниченный объем материала недостаточен для того, чтобы найти заранее неизвестный закон распределения случайной величины, но все же данный материал может быть обработан и использован для получения сведений о случайной величине.

Так на основе ограниченного статистического материала можно определить важнейшие числовые характеристикии случайной величины: МОЖ, дисперсию, иногда другие моменты.

На практике часто заранее известен вид закона распределения и требуется найти только некоторые параметры от которых он зависит.

Если заранее известно, что случайная величина распределена по нормальному закону, то задача обработки сводится к определению параметров m и σ.

Если случайная величина распределена по закону Пуассона, то надо определить одну величину а - МОЖ.

Необходимо отметить, что любое значение искомого параметра, вычисленное на основе ограниченного числа опытов, будет содержать элемент случайности. Такое приближенное, случайное значение называется оценкой параметра.