Парная регрессия и метод наименьших квадратов

Будем предполагать в рамках модели (2.2) линейную зависимость между двумя переменными Y и X. Т.е. имеем модель парной регрессии в виде:

Yi =a+bXi+ui, i=1,…,n.

а. Eui=0, i=1,…,n.

б.

в. X1, …, Xn – неслучайные величины.

Предположим, что имеется выборка значений Y и X.

Обозначим арифметические средние (выборочные математические ожидания) для переменных X и Y:

.

Запишем уравнение оцениваемой линии в виде:

, (2.6)

где и - оценки неизвестных параметров a и b, а - ордината этой линии.

Пусть (Xi, Yi) одна из пар наблюдений. Тогда отклонение этой точки (см. рис. 2.1) от оцениваемой линии будет равно ei=Yi - .

Принцип метода наименьших квадратов (МНК) заключается в выборе таких оценок и , для которых сумма квадратов отклонений для всех точек становится минимальной.

Y

       
   
 
 

 

 


X

 

Рис. 2.1. Иллюстрация принципа МНК

 

Необходимым условием для этого служит обращение в нуль частных производных функционала:

по каждому из параметров. Имеем:

Упростив последние равенства, получим стандартную форму нормальных уравнений, решение которых дает искомые оценки параметров:

(2.7)

Из (2.7) получаем:

(2.8)

Пример. Для иллюстрации вычислений при отыскании зависимости с помощью метода наименьших квадратов рассмотрим пример (табл. 2.1).

Таблица 2.1

Индивидуальное потребление и личные доходы (США, 1954-1965 гг.)

Год Индивидуальное потребление, млрд. долл. Личные доходы, млрд. долл.

 

Заметим, что исходные данные должны быть выражены величинами примерно одного порядка. Вычисления удобно организовать, как показано в таблице 2.2. Сначала рассчитываются , затем xi, yi. Результаты заносятся в столбцы 3 и 4. Далее определяются xi2, xiyi и заносятся в 5 и 6 столбцы таблицы 2.2. По формулам (2.8) получим искомые значения параметров =43145/46510=0,9276; =321,75-0,9276.350=-2,91.

Оцененное уравнение регрессии запишется в виде =-2,91+0,9276X.

Следующая важная проблема состоит в том, чтобы определить, насколько "хороши" полученные оценки и уравнение регрессии. Этот вопрос рассматривается по следующим стадиям исследования: квалифицирование (выяснение условий применимости результатов), определение качества оценок, проверка выполнения допущений метода наименьших квадратов.

Относительно квалифицирования уравнения =-2,91+0,9276X. Оно выражает, конечно, достаточно сильное утверждение. Применять это уравнение для прогнозирования следует очень осторожно. Дело в том, что, даже отвлекаясь от многих факторов, влияющих на потребление, и от систематического изменения дохода по мере варьирования потребления, мы не располагаем достаточно представительной выборкой.

Таблица 2.2

Рабочая таблица расчетов (по данным табл. 2.1)

 

Год X Y x y x2 xy ei
-93 -85,75 7974,75 235,48 0,52
-75 -67,75 5081,25 252,18 1,82
-57 -54,75 3120,75 268,88 -1,88
-41 -40,75 1670,75 283,72 -2,72
-31 -31,75 984,25 292,99 -2,99
-13 -10,75 139,75 309,69 1,31
3,25 321,75 3,25
13,25 185,5 334,74 0,26
33,25 1163,75 354,22 0,78
53,25 2928,75 372,77 2,23
79,25 6894,75 402,45 -1,45
109,25 13000,75 432,13 -1,13
å =350,00 =321,75 0,00 =321,75 0,00

 

Полученное уравнение =-2,91+0,9276X можно использовать для расчета точечного прогноза, в том числе и на ретроспективу. Подставляя последовательно значения X из второго столбца табл. 2.2 в уравнение =-2,91+0,9276X, получим предпоследний столбец табл. 2.2 для прогнозных значений . Ошибка прогноза вычисляется по формуле ei=Yi - и дана в последнем столбце рабочей таблицы.

Заметим, что ошибка прогноза ei фактически является оценкой значений ui. График ошибки ei представлен на рис. 2.2. Следует отметить факт равенства нулю суммы Sei=0, что согласуется с первым ограничением модели парной регрессии - Eui=0, i=1,…,n. Ñ

Рис. 2.2. График ошибки прогноза

 

В модели (2.2) функция f может быть и нелинейной. Причем выделяют два класса нелинейных регрессий:

q регрессии, нелинейные относительно включенной объясняющей переменной, но линейные по параметрам, например полиномы разных степеней - Yi =a0 + a1Xi + a2Xi2+ ui, i=1,…,n или гипербола - Yi =a0 + a1/Xi + ui, i=1,…,n;

q регрессии нелинейные по оцениваемым параметрам, например степенная функция - Yi =a0 ui, i=1,…,n, или показательная функция - Yi = , i=1,…,n.

В первом случае МНК применяется так же, как и в линейной регрессии, поскольку после замены, например, в квадратичной параболе Yi =a0 + a1Xi + a2Xi2+ ui переменной Xi2 на X1i: Xi2=X1i, получаем линейное уравнение регрессии Yi =a0 + a1Xi + a2X1i+ ui, i=1,…,n.

Во втором случае в зависимости от вида функции возможно применение линеаризующих преобразований, приводящих функцию к виду линейной. Например, для степенной функции Yi =a0 ui после логарифмирования получаем линейную функцию в логарифмах и применяем МНК.

Однако для, например, модели Yi =a0+a2 +ui линеаризующее преобразование отсутствует, и приходится применять другие способы оценивания (например, нелинейный МНК).

<== предыдущая лекция | следующая лекция ==>
Постановка задачи регрессии | Коэффициент корреляции, коэффициент детерминации, корреляционное отношение


Дата добавления: 2017-04-20; просмотров: 46; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ


Поиск по сайту:

При помощи поиска вы сможете найти нужную вам информацию, введите в поисковое поле ключевые слова и изучайте нужную вам информацию.

Поделитесь с друзьями:

Если вам понравился данный ресурс вы можете рассказать о нем друзьям. Сделать это можно через соц. кнопки выше.
helpiks.org - Хелпикс.Орг - 2014-2017 год. Материал сайта представляется для ознакомительного и учебного использования. | Поддержка
Генерация страницы за: 0.086 сек.