Обобщенный метод наименьших квадратов

Напомним, что формула для расчета вектора - столбца неиз­вестных параметров с помощью обычного МНК в матричной форме имеет вид.

Сущность обобщенного метода наименьших квадратов со­стоит в том, чтобы устранить нарушения предпосылок МНК, «скорректировав» расчеты параметров уравнения регрессии с учетом значений ковариационной матрицы остатков. Такая «корректировка» может быть проведена с использованием формулы

), (3.62)

Теорема Айткена. В классе линейных несмещенных оценок вектора A для обобщенной линейной модели оценка имеет наименьшую ковариационную матрицу.

Следовательно, ОМНК- оценка является несмещенной. Ковариационная матрица случайных остатков является невырожденной симметричной матрицей, поэтому она мо­жет быть представлена через некую невырожденную матри­цу Р следующим образом:

= РР^Т.(3.63)

В свою очередь, обратная матрица может быть выра­жена как

(3.64)

Запишем формулу оценок параметров линейной регрессии по ОМНК, используя вместо матрицы матрицу Р.

(3.65)

Если произвести замену переменных

(3.66)

то оценка будет иметь вид оценки параметров по обычно­му МНК:

(3.67)

Иначе говоря, если преобразовать переменные X и Y по фор­мулам, то применение к ним обычного МНК приведет к тому же результату, что и применение ОМНК к исходным переменным.

Преобразование переменных приводит к следующе­му виду обобщенной модели регрессии:

Получены два способа приме­нения ОМНК: с использованием ковариационной матрицы остатков и формулы (3.62) и с использованием матрицы Р и модели с преобразованными переменными (3.65), для реше­ния которой достаточно применить обычный МНК.

Если предпосылки МНК о гомоскедастичности и некорре­лированности остатков выполняются, то матрица превра­щается в скалярную и обобщенный метод наименьших ква­дратов дает тот же результат, что и обычный МНК.

Основная проблема, возникающая при использовании ОМНК, заключается в том, что фактические значения элементов ма­трицы неизвестны. Поэтому для применения этого метода используют их оценки, полученные на основе исследования имеющихся в распоряжении данных. В этом случае говорят о доступном ОМНК.

методом взвешенных наименьших квадратов. Подчеркнем, что весовой коэффициент значений исходных переменных х и у для каждого номера наблюдения будет свой. То есть для первого наблюдения все переменные делятся на , для второго — на , для последнего, n-го на­блюдения,— на .

В качестве оценок дисперсий случайных остатков можно использовать квадраты остатков, полученных при применении обычного МНК.

Процедура применения ОМНК в данном случае предпола­гает следующие шаги:

к исходным данным применяется обычный МНК и вычи­сляются случайные остатки ;

делаются предположения относительно функциональ­ной зависимости дисперсии случайных остатков от ка­ких-либо переменных:

(3.69)

В качестве функции, может, например, использоваться фун­кция по тесту Уайта

или любая другая аналогичная функция;

с помощью МНК находят параметры модели (3.69), ис­пользуя в качестве фактических значений зависимой переменной случайные остатки , найденные на пер­вом шаге;

по модели (3.69 рассчитывают выровненные значения случайных остатков . Эти значения рассматривают как оценки неизвестных дисперсий случайных остатков , т.е. диагональных элементов матрицы (3.68);

определяют параметры множественной линейной рег­рессии с помощью ОМНК в зависимости от алгоритма, выбранного для расчета параметров: по формуле (3.46) или с использованием преобразованных переменных с применением к ним обычного МНК. В последнем слу­чае возникает вопрос о виде матрицы (Р^-1).

Так как в рассматриваемом случае матрица имеет только диагональные элементы, то обратная к ней матрица так­же является диагональной и имеет вид

Тогда матрица равна

С учетом преобразования переменных уравнение множе­ственной линейной регрессии будет иметь вид

Отметим, что полученное уравнение регрессии не имеет свободного члена.

Применение ОМНК для случая гетероскедастичности остат­ков еще более упрощается, если предполагается зависимость дисперсии случайных остатков от квадратов значения ка­кой-то одной переменной :

,

где - номер наблюдения; j – номер переменной.

В этом случае ковариционная матрица остатков будет иметь вид

Диагональные элементы матрицы Q уже известны и равны квадратам фактических значений переменной . Постоянный множитель при расчётах по формуле (3.46) сокращается, поэтому матрицу можно заменить матрицей без этого множителя

.

Матрица в этом случае равна

.

Использование значений какой-либо независимой перемен­ной в качестве основы для оценки ковариационной матрицы остатков позволяет дать экономическую интерпретацию ре­зультатов, полученных по ОМНК.

Как было выявлено ранее, случайные остатки в модели рег­рессии

гетероскедастичны, корень из дисперсии случайных остат­ков и значения независимой переменной х₃ связаны линейно. То есть мы можем предположить, что .

В этом случае можно применить метод взвешенных наи­меньших квадратов, разделив каждую переменную, входя­щую в уравнение регрессии, на соответствующее значение переменной х₃:

Преобразование переменных затронет также столбец мно­жителей - единиц при свободном члене

Модель с преобразованными переменными будет иметь вид

или

Ниже приведена табл. 3.9, содержащая преобразованные переменные по данным примера 1.

Преобразование переменных при применении ОМНК для модели регрессии поступления налогов от количе­ства занятых, объема отгрузки в обрабатывающих про­изводствах и производства энергии

Таблица 3.9

По преобразованным данным получена следующая модель:

Все коэффициенты полученной модели значимы (таблич­ное значение критерия Стьюдента равно 2,015 ( = 0,05; df= = 44)). В данном уравнении параметр при пе­ременной является свободным членом исходной моде­ли, а параметр, равный 0,723, — коэффициентом регрессии при переменной . Таким образом, в исходном виде уравне­ние регрессии будет иметь вид

Сопоставив полученное уравнение с исходным

можно отметить существенное изменение практически всех параметров.

Анализ случайных остатков нового уравнения также проведем по тесту Гольфельда – Квандта. Все расчётные значения критерия Фишера получились меньше критического, следовательно нет оснований отвергнуть гипотезу о гомоскедастичности остатков.