Теорема Гаусса-Маркова

При использовании полученных различными способами оценок параметров уравнения регрессии (2.6) важно быть уверенными, являются ли они «лучшими» среди всех остальных в некотором смысле. Ответ на этот вопрос дает теорема Гаусса-Маркова, согласно которой оценки параметров линейной регрессии, полученные методом наименьших квадратов, будут несмещенными и эффективными (т. е. будут иметь наименьшую дисперсию) в классе линейных несмещенных оценок при выполнении четырех условий, известных как условия Гаусса-Маркова.

Эти условия принимаются в качестве основных предпосылок регрессионного анализа.

1-е условие Гаусса-Маркова: математическое ожидание случайного члена равно нулю в любом наблюдении

. (2.16)

2-е условие Гаусса-Маркова: дисперсия случайного члена постоянна для всех наблюдений

. (2.17)

3-е условие Гаусса-Маркова: значения случайного члена в любых наблюдениях и не коррелируют между собой

. (2.18)

Это условие с учетом того, что принимает вид

. (2.19)

4-е условие Гаусса-Маркова: случайный член должен быть распределен независимо от объясняющих переменных

, (2.20)

где было учтено, что .

Следует сказать, что последнее условие заведомо выполняется, если объясняющие переменные считаются детерминированными величинами.

Выполнение 4-го условия Гаусса-Маркова обеспечивает несмещенность оценки параметра b.

Выполнение 1-го и 4-го условий Гаусса-Маркова обеспечивает несмещенность оценки параметра а.

Нарушение одного из условий Гаусса-Маркова приводит к нарушению эффективности оценок, т. е. в классе несмещенных оценок можно найти такие, которые имеют меньшую дисперсию.

В регрессионном анализе обычно делается еще одна предпосылка о нормальности распределения случайного члена, что позволяет выполнить количественную оценку точности полученных оценок параметров (2.13).

После построения модели необходимо вычислить значения остатков и проверить выполнение условий Гаусса-Маркова, так как их нарушение снижает качество модели. Если условия нарушаются, то следует модернизировать модель соответствующим образом.