Регрессионной модели МНК

 

Принципиальных отличий применения МНК для парной регрессии от применения его для множественной регрессии нет. Поэтому основное значение этого параграфа - освоение матричного подхода к алгебраическим преобразованиям в рамках теории множественной регрессии.

Условие минимизации суммы квадратов отклонений для множественной регрессии:

 

S = å( - yi)2 = å ei2 = e’e = (Y-Xb)’(Y-Xb) ® min. (3.4)

 

Как и ранее, для отыскания оптимального значения вектора b составим систему уравнений, приравняв нулю частные производные от S по bi. В матричной форме такая система уравнений будет иметь вид (читается ”набла S по b равно 0-вектору”):

 

bS = 0n. (3.5)

 

Опустим все промежуточные преобразования (подробности см. [5, с. 84] ) и получим результат: систему нормальных уравнений в матричной форме относительно искомого вектора b:

 

X’Xb = X’Y. (3.6)

Для наглядности представим данное матричное выражение графически (рис. 3.1). Полезно сравнить этот рисунок и выражение (3.6), определить размерности матриц. Напомним, что произведение матриц определяется как повторение одной и той же операции: скалярное произведение очередной строки левой матрицы на очередной столбец правой матрицы, что условно и показано на рис. 3.1.

 

X Y

X’ b X’

x x = x

Рис. 3.1. Графическое представление матричного выражения (3.6)

 

Чтобы разрешить систему (3.6) линейных уравнений относительно вектора b, нужно обе части уравнения умножить слева (умножение матриц некоммутативно) на матрицу, обратную к матрице Х’X, т.е. на (Х’X)-1. В результате получим систему линейных уравнений, разрешенную относительно вектора b:

 

b = (Х’X)-1X’Y. (3.7)

 

Теперь можно предпосылку-6 переформулировать более конструктивно: матрица Х’X должна быть неособенной, иначе говоря, ее определитель не должен равняться нулю: êХ’X ê¹ 0. Еще одно эквивалентное условие: матрица Х’X должна иметь обратную матрицу.

Если воспользоваться стандартным пакетом программ, то именно в матричной форме удобнее всего формулировать задание (3.7) для компьютера.

Переформулируем предпосылки специально для матричной формы множественного регрессионного анализа:

1. В модели (3.2) e - случайный вектор, Х - неслучайная матрица.

2. М(e) = 0n, где 0n, - вектор-столбец, состоящий из n нулей.

3. Одновременно и условие 4. åe = М(ee‘) = s2Еn, где Еn - единичная матрица n x n (заметим, что квадратная матрица получается в результате умножения по правилам матричной алгебры матрицы-столбца на матрицу-строку).

5. e - случайная величина-вектор с n-мерным НЗР Nn(0, s2Еn).

6. Ранг матрицы r(X) = p+1, причем p+1< n (неравенство требует, чтобы число наблюдений n было больше, чем число объясняющих переменных плюс 1).

Теорема Гаусса-Маркова. При выполнении предпосылок 1-4 и 6 множественного регрессионного анализа оценка по МНК b = (Х’X)-1X’Y является эффективной, т.е. обладает наименьшей дисперсией в классе линейных несмещенных оценок.

 


<== предыдущая лекция | следующая лекция ==>
Схема дисперсионного анализа | Сравнение влияния объясняющих переменных




Дата добавления: 2019-10-16; просмотров: 112; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ


Поиск по сайту:

При помощи поиска вы сможете найти нужную вам информацию, введите в поисковое поле ключевые слова и изучайте нужную вам информацию.

Поделитесь с друзьями:

Если вам понравился данный ресурс вы можете рассказать о нем друзьям. Сделать это можно через соц. кнопки выше.
helpiks.org - Хелпикс.Орг - 2014-2020 год. Материал сайта представляется для ознакомительного и учебного использования. | Поддержка
Генерация страницы за: 0.006 сек.