Оценка параметров линейной регрессии

Установим некоторые свойства параметров (8.2.8) и (8.2.9), полученных методом наименьших квадратов:

A) линейная зависимость и от наблюдаемых значений показателя ;

B) и являются несмещенными оценками истинных параметров и (в соотношении );

C) и являются наилучшими линейными несмещенными оценками и .

Эти свойства показывают состоятельность найденных оценок и не требуют дополнительных комментариев. Заметим только, что параметры и можно рассматривать как случайные величины, считая наблюдаемые значения , , фиксированными, т.е. одинаковыми во всех выборках. В этом случае величина будет меняться от выборки к выборке в силу различий в значениях переменной (см. (8.2.3) ), которые подчиняются вероятностному распределению. Применяя формулы (8.2.8) и (8.2.9) для и к каждому множеству выборочных наблюдений , образуем последовательность оценок . Используя распределения величин и , можно вычислить средние значения , и дисперсии, где и являются несмещенными оценками параметров и , если , .

Относительно случайной величины в (8.2.3) будем предполагать, что

a) среднее значение случайной величины равно нулю;

b) дисперсия случайной величины постоянна и не зависит от ;

c) ковариация различных значений равна нулю.

Условие 1) говорит о том, что для фиксированного значения X возможные значения группируются вокруг центрального значения , каким является ее среднее значение (см. Пример 8.2); условие 2) говорит об одинаковых распределениях вероятностей величины для разных значений , например, дисперсия не возрастает с ростом значений ; условие 3) означает, что любое значение , положительное или отрицательное, никаким образом не влияет на значения и в этом случае точки выборки более или менее тесно группируются вокруг прямой линии

Проверим выполнение свойства A). Перепишем соотношение (8.2.8) в виде:

.

Покажем, что Действительно,

Поэтому

Обозначим

Тогда можно написать линейную зависимость от :

. (8.3.1)

Непосредственно убеждаемся, что

Используя (8.3.1) , из (8.2.9) получаем:

т.е. действительно является линейной функцией от .

Проверим выполнение свойства B). Из (8.2.3) находим

Используя формулу (8.3.1) и свойства , получим

Вычислим среднее значение :

Согласно условию a) Поэтому т.е. есть несмещенная оценка параметра . Параметр можно представить следующим образом:

Применяя операцию получения математического ожидания и пользуясь условием a), находим: т.е. также является несмещенной оценкой параметра .

Докажем свойство С. Составим оптимизационную задачу для получения наилучших линейных несмещенных оценок и покажем, что оценки наименьших квадратов совпадают с решением этой задачи. Покажем это для параметра , (для аналогично).

Из всех несмещенных оценок вида

параметра наилучшей будет та, у которой дисперсия минимальна. Пользуясь выборочными данными, запишем:

Вычислим математическое ожидание:

(здесь использовано условие a)). Следовательно, будет несмещенной оценкой тогда и только тогда, когда

. (8.3.2)

При выполнении этих условий вычислим дисперсию :

(здесь имеется в виду независимость случайных величин по свойству c)). Используя свойство b), имеем

,

где - среднеквадратическое отклонение случайных величин , одинаковое для всех . Составим оптимизационную задачу:

Так как множество несмещенных оценок сопряжено с множеством весов , удовлетворяющих условиям (8.3.2) , и с учетом того, что

задача эквивалентным образом запишется в виде

при ограничениях

Для решения этой задачи введем множители и и составим функцию Лагранжа

Необходимые условия оптимальности (см. (2.3.9)), состоящие из условий стационарности и допустимости, после некоторых преобразований имеют вид:

Просуммировав первое уравнение по , получим равенство которое подставим в первое уравнение:

Умножив это уравнение на , просуммировав по и воспользовавшись третьим уравнением, получим

Таким образом,

и, следовательно,

Тем самым показано, что веса равны весам в оценке , полученной методом наименьших квадратов (см. (8.3.1)), и поэтому будет наилучшей линейной несмещенной оценкой параметра . Аналогично доказывается этот факт для оценки .

Таким образом, если

где ошибки удовлетворяют условиям a), b), c), а - фиксированные константы, то оценки наименьших квадратов

являются наилучшими линейными несмещенными оценками параметров и , а их дисперсии равны:

(8.3.3)

(8.3.4)

где - одинаковое для всех среднеквадратическое отклонение.

Заметим, что при более детальном анализе оценок и исследуют еще и их «максимальное правдоподобие». Однако изучение этого свойства требует введения ряда новых достаточно сложных понятий. То же самое относится и к обобщению рассмотренного регрессионного анализа в двух направлениях: во-первых, нелинейного регрессионного анализа - когда корреляционная зависимость между и нелинейна; во-вторых, многомерного регрессионного анализа - когда зависит от многих объясняющих переменных .