ЛЕКЦИЯ 11. Параметрическая идентификация объектов

1. Статические детерминированные модели.

2. Динамические детерминированные модели.

Применение методов наименьших квадратов и максимального правдоподобия для нахождения точечных оценок параметров.Построенные с по-мощью экспериментального либо экспериментально-аналитического метода математические модели содержат неизвестные константы (параметры), значения которых определяются по экспериментальным данным. Если используемые модели линейны относительно искомых параметров, то за-дача их оценки сравнительно легко решается методами линейного регрес-сионного анализа и, в частности, методом наименыиих квадратов.

Оценка неизвестных параметров в методе наименьших квадратов про-изводится с помощью минимизации суммы квадратов рассогласований. Такой подход во многих важных ситуациях приводит к оценкам, обладаю-щим важными свойствами оптимальности.

Схему наблюдений называют линейной моделью. Эту модель удобно записать в матричной форме.

В данном случае применение метода наименыних квадратов состоит в минимизации суммы квадратов

Однако подавляющее большинство моделей нелинейны по парамет-рам, что значительно усложняет методы их оценки. Рассмотрим процедуру идентификации таких моделей более подробно. Пусть имеется т моделей механизма протекания процесса в аппарате.

Между случайными величинами обычно существует такая связь, при которой с изменением одной величины меняется распределение другой. Такая связь называется стохастической.

Если две случайные величины X и Ү независимы, то дисперсия суммы этих величин равна сумме дисперсий:

Д(Х + Ү)=Д(Х) + Д(Ү).

Если же данное равенство не выполняется, то величины X и Ү являются зависимыми.

Матрица в правой части последнего уравнения называется дисперсионно-ковариационной матрицей, Ее диагональные элементы представляют собой дисперсии случайных величин, а недиагональные — ковариации соответствующих случайных величин, определяющие статистическую зависимость между ними.

Рассмотрим сначала однооткликовые модели, т.е. модели с одной вы-ходной переменной. При оценке неизвестных параметров моделей очень часто используется метод максимального правдоподобия, предложенный Р. Фишером и являющийся основой многих процедур проверки гипотез и доверительного интервального оценивания для больших выборок.

Пусть имеется непрерывная случайная величина, закон распределения которой задан плотностью вероятности f(х, Ө). Составим функцию правдоподобия:

Суть метода. максимального правдоподобия состоит в том, что в ка-честве оценок параметров Ө_п — (Ө_1у Ө₂, ..., Ө_р) берут такие значения Ө_1г Ө₂, ..., Ө_р, при которых f_п достигает наибольшего возможного значения. Так как 1пf/_п достигает максимума при тех же значекиях Ө, что и сама f_п, то на практике часто удобнее использовать функцию 1пf_п , которую можно называть логарифмической функцией правдоподобия. Значения Ө\, Ө₂, …, Ө_р являются функциями выборки Хі, х₂, ..., х_п и называются оценками максимального правдоподобия.

Для нахождения оценок максимального правдоподобия следует ре-шить относительно Ө_1гӨ₂,..., Ө_р систему уравнений правдоподобия

Если семейство распределений ошибок воспроизводимости е_и отве-чает условиям регулярности, то оценки максимальңого правдоподобия в большинстве случаев являются состоятельными в том смысле, что оценка

мараметров по вероятности стремится к истинному значению, когда объем опмтов неограниченно растет. Условия регулярности и состоятельности обсспечивают асимптотическую эффективность оценок параметров. Кроме того, если распределение ошибок измерений принадлежит параметрическому эспоненциальному типу, то оценка вектора неизвестных параметров является достаточной, т.е. содержит всю необходимую информацию, имеющуюся в исходных экспериментальных данных. Итак, оценки искомых параметров, найденные методом максимального правдоподобия, при достаточно слабых ограничениях на функцию распределения ошибок е_и и ири больших выборках обладают многими важными оптимальными свойствами.

При практическом использовании метода максимального правдоподо-бин обычно предполагается известным вид плотности распределения ошибок наблюдений, причем наряду с неизвестными параметрами моделей могут быть оценены и неизвестные параметры плотности распределения.

Предположим.что для модели некоторым способом получены оцснки параметров Ө .

Пусть поставлены п опытов. Обозначимчерез р(е_и, ф) плотность рас-пределения случайной величины е_и, а через р(е, ф) — совместную плотность распределения случайного вектора е = (е_ь е₂, ..., е_п), где ф - вектор параметров плотности распределения, содержащий, в частности, для нормальной плотности величины математического ожидания и дисперсии воспроизводимости.

В зависимости от плотности распределения вероятностей ошибок наблю-дений е определяется конкретный вид функции Ь'¹' (Ө ., ф). Так, если слу-чайные величины е_и (и = 1, 2, ...,л) независимы и нормально распределеңы с нулевым средним и известными дисперсиями.

Отметим, что при нормально распределенных ошибках наблюдений оценки нараметров , найденные методом максимального правдоподобия и методом наименьших квадратов, совпадают и поэтому они обладают общими оптимальными свойствами.

В соответствии с принципом максимального правдоподобия оценки параметров максимального правдоподобия Ө при известной дисперсионно-ковариациониой матрице изменений максимизируют , если вектор параметров Ө минимизирует величину .

Если матрица 2 - диагональная, то представляет собой взвешенную сумму квадратов остатков.

Если дисперсионно-ковариационная матрица ошибок наблюдений априори неизвестна, то, используя байесовский подход, оценки параметров максималького правдоподобия получают минимизацией по параметрам

В ряде случаев.особенно при распределениях ошибок наблюдений, ог-личных от нормальных, испояьзование метода максимального правдонодо-бия приводит к иным критериям, характеризующим стеііенъ близости рас-четных и экспериментальных данных. В частности, если ошибка распределена по Лапласу, то необходимо использовать для однооткликовых ситуаций метод наименьших модулей и соответственно критерий равенства.

Интервальные оценки параметров. Выше говорилось о точечных оцен-ках искомых параметров моделей, полученных методом максимального правдоподобия. Последние, хотя и обладают некоторыми оптимальными асимптотическими свойствами, но не обеспечивают важную дополнитель-иую информаиию о точности определяемых оценок и о мере нелинейности модели особенно в малых выборках. Такую ннформацию содержат харак-терситики доверительных областей.

Доверительный интервал (доверительная область) для некоторого параметра (совокупности параметров) функции распределения есть интер-

вал (область) в параметрическом пространстве, определяемый достаточной статистикой выборки измеренных величин и обладающий тем свойством что вероятность того, что он содержит "истинное" значение параметра, равна по крайней мере наиеред заданному значению а. Величину а называют доверительным уровнем.

Рассмотрим сначала случай, когда модель f(х, Ө ) является линейной функцией параметров (т.е.f(х, Ө) = хӨ). Оценки максимального правдо-подобия Ө здесь являются наилучшими линейными несмещенными оцен-ками Ө, и точные доверительные области Ө могут быть построены с исполь-зованием декомпозішии суммы квадратов на остаточную сумму квад-ратов и сумму квадартов, обусловленную регрессией.

В случае достаточности оценки остаточная сумма квадратов не за-висит от Ө, азависит только от х и у.

Рассмотрим теперь задачу построения точных доверительных областей для параметров Ө в случае нелинейных относительно параметоов моделей, общий интегральный вид которых может быть записан как f(д:, Ө). Данная задача по сравнению с линейным случаем резко усложняется, так как для нелинейных по параметрам моделей не существует множества достаточных статистик. Однако при определенных условиях регулярности для f(х , Ө) и при многомерном нормальном распределении существует множество статистик, совместно достаточных для Ө ; это имеет место тогда и только тогда, когда f(х, Ө) существенно линейна.

Для аппроксимации f(х, Ө) линейной формой необходимо разложить f(х, Ө) в подходящие многомерные ряды с их последующим усечением Выбор осушествляют таким образом, чтобы было достигнуто наилучшее приближение f(х , Ө) усеченным рядом. Затем выбирают квадратичные формы чтобы построить 100 а %-ные доверительные области для Ө. При этом точность аппроксимации практически не влияет на точность оценки вероятности выполнения неравенства.

Таким образом, в общем случае для нелинейно параметризованных моделей большая часть результатов, полученных для линейных моделей, неприменима. В самом деле, даже если ошибка измерений нормальна, вектор параметров может не быть нормально распределенной величиной.

Для линейных моделей 5 (Ө) представляет собой квадратичную фор-

Му и, следовательно, доверительные области являются эллиптическими,

длм нелинейных они уже не эллиптические и, как правило, несимметричны

• N йананоподобны. Если нелинейно параметризованная модель содержит

' только два параметра, то контур доверительных интервалов сравнительно

■ Легко построить. Если же число параметров больше двух, то можно вычер-

тип. соответствующие сечения на координатных плоскостях. Рассматри-

ввемая процедура построения доверительных областей обладает, однако,

ивжиыми асимптотическими свойствами в том смысле, что действительная

("іістинная") доверительная вероятность сходится к выбранному априори

значению, когда объем выборки неограниченно возрастает. Показано, чтс при определенных условиях регулярности оценки параметров Ө состоятель ны и асимптотически нормальны. В таком случае множество Ө, удовлет воряющих неравенству

8 0) -5 0)<_Х²_а(р), (279)

определяет асимптотически 100 а %-ную доверительную область для Ө.

Все же в большинстве случаев оценивание параметров в нелинейных моделях проводится по небольшим совокупностям экспериментальных данных и поэтому результаты асимптотической теории малопригодны на практике,

Построение доверительных интервалов параметров нелинейных мо-делей может проводиться с учетом степени нелинейности модсли. Мера, учитываюшая степень целинейности /(х, Ө), позволяет усгановить, для каких нелинейно параметризованных моделей /(х, Ө) без заметных по-грешностей можно построить доверительные обяасги, используя вместс /(х, Ө) линеаризованные модели. Однако при величинах меры нелиней-ности, больших единицы, данный метод построеішя доверихельных облас-тей становится уже непригодным.

Интервальные оценки параметров нелинейных моделей при срав-нительно небольших затратах на вычислительную работу позволяет полу-чить метод поочередной оценки приближений искомого параметра (джек-найф-метод). Этот метод, не требующий использования никаких предпо-ложений о нормальности ошибок измерений или их однородности, дает возможность определить оценки Ө, которые асимптогически нормальн'. распределены.

Для проверки гипотезы о среднем значении и вычисления доверитель-иого интервала в одномерном случае обычно используется статистика, по-лучающаяся в результате деления разности между выборочным средним значением 0 и гипотетическим математическим ожиданием 0 генеральной совокупности на среднеквадратическое отклонение а. Основываясь на зтом, можно построить критерий для проверки гипотезы Ө = Ө₀, где Ө₀ — задан-ное число, или построить доверительный интервал для неизвестного па-раметра.

Совокупносгь точек, координаты которых удовлетворяют условию, образуют в р-мерном пространстве гиперэллипсоид, размеры и форма когорого зависят от уровня значимости а. Отметим, что эллипсоид, удовлетворяющий условию , конечно, является случайным, так как случайна выборка Отметим, что численные значения оценки при п зависят от исходного разбиения вектора наблюдений на подвекторы к, так как индквидуальные наблюдения в общем имеют неидентичные распределения. Если план эксперимента предусматривал проведение к повторных измерений а каждой из т точек (п = кт), то обычно выбирают п — к и исключают последовательно по одной полной реплике при конструировании процедуры. Часто при применении этой процедуры полагают, что устраняет неопределенность в разбиении у на подвекторы У^т более надежные результаты. Байесовские оценки параметров. В рассмотренных выше методах оценки параметров нелинейных моделей совсем не использовалась априорная (известная цо эксперимента) информация о параметрах, которой во многих случаях располагает исследователь. Дело в том, что практически всегда ещедо постаиовки эксперимента исследователь имеет некоторое представление о числовых значениях парамегров модели. В частности, исходя из физического смысла изучаемого процесса, он может заранее исключить значения ряда параметров как невозможные, либо установить предлочтителнгость одних числовых значений параметров перед другими. Все свои априорные сведения исследователь закладывает в так называемом априорном распределении параметров Ғ₀ 0) или априорной плотности распределения р_п 0). Функция плотности распределения параметров р₀ 0) является неотрицательной и обладает следующим свойством; Ро 0 і) /ро (Ө 2) > 1. если значения вектора параметров Ө _х правдоподобнее значений 0₂- При этом не требуется выполнения условий нормировки ір₀ (Ө)О.Ө = I. Очевидно, что равномерная априорная плотность распреде-ления параметров характеризует ситуацию, когда все значения Ө равновероятны в допустимой области существования параметров. После формализации априорных сведений об изучаемом процессе и построения априорной плотности распределения параметров р₀ (Ө) исследователь проводит эксперимент. При этом вся экспериментальная информация содержится в функции правдоподобия Ь (Ө\у). Тогда вся информация, характеризующая параметры Ө, будет сосредоточена в апостериорной (полученной после эксперимента) плотности распределения р(Ө \у),

После построения апостериорной плотности распределенияр(Ө |_у) пе-реходят к непосредственному расчету точечных оценок вектора парамет-ров 6. В статистике оценки Ө, использующие априорную инф^ормацию и вычисленные по апостериориой плотности распределения р(Ө\у), носят название байссовских оценок, Чаще всего в физико-химических иссле-д^ованиях в качестве байесовской оценки параметров используют оценку Ө , удовлетворяющую условию,что является естественным обобщением метода максимального правдо-подобия на задачи байесовского оценивания.

Оценки Ө иногца называют обобщенными оценками максимального правдотюдобия. Они, в частности, совпадают с оценками максимального

нравдоподобия, если плотность распределения р₀(Ө) равномерна. Кроме того, вектор истинных значений параметров Ө_ис7 сходится к Ө при любом Ро(Ө) и при неограниченном увеличении объема выборки. Следовательно, оценки Ө обладают свойствами состоятелытости и асимптотической эф-фективности, как и оценки максимального правдоподобия.

Отметим в заключение, что построение точной апостериорной плот-ности распределения параметров Ө возможно только для линейно парамет-ризованных моделей. Однако большинство моделей химико-технологи-ческих процессов являются нелинейно параметризованными. Поэтому для них обычно требуется линеаризация по параметрам.