Множественной регрессии

Рассмотрим уравнение линейной множественной регрессии

(3.19)

Применяя метод наименьших квадратов (МНК) получим следующую систему уравнений:

(3.20)

Решение системы (3.10) удобно записать с помощью матричных обозначеий. Обозначим

(3.21)

где A -матрица-столбец из (p+1) коэффициентов ;

Y –матрица - столбец из n исходных значений зависимой переменной y;

X -матрица ((p+1)×n) исходных значений независимых переменных , в которой первый столбец из единиц можно рассматривать как значения «фиктивной» переменной, соответствующей коэффициенту .

В этих обозначениях система (3.7) примет вид

(3.22)

где -транспонированная матрица X. Матрица является неособенной квадратной размерности (p+1×p+1) при условии, что столбцы матрицы X линейно независимы.

Решение системы (3.7) определяется соотношением

. (3.23)

Независимые переменные имеют различный экономический смысл, разные единицы измерения и масштаб. Если нужно определить степень относительного влияния отдельных факторов на изменение результативной переменной y, то переменные следует привести к сопоставимому виду. Это можно осуществить, вводя, так называемые, «стандартизованные» переменные с помощью соотношений:

(3.25)

где - средние значения, средние квадратические отклонения переменных y и .

Стандартизованные переменные обладают следующими свойствами:

1) средние значения равны нулю

2) средние квадратические отклонения равны единице

Уравнения множественной регрессии в стандартизованных переменных принимают вид:

(3.26)

Величины называются стандартизованными коэффициентами. Их связь с коэффициентами множественной регрессии задается соотношениями

. (3.27)

Параметр уравнения (3.6) можно определить из соотношения

... . (3.28)

Стандартизованные коэффициенты регрессии показывают, на сколько сигм (средних квадратических отклонений) изменится в среднем результативный признак y за счет изменения соответствующего фактора на одну сигму при неизмененном значении других факторов, закрепленных на среднем уровне.

Система нормальных уравнений МНК (3.10) в стандартизованных переменных принимает вид:

(3.29)

Стандартизованные коэффициенты регрессии сравнимы между собой, что позволяет ранжировать факторы по силе их воздействия на результат.

Большее относительное влияние на изменение результативной переменной y оказывает тот фактор, которому соответствует большее по модулю значение коэффициента .

Отметим, что в случае парной линейной регрессии стандартизованный коэффициент регрессии β совпадает с линейным коэффициентом корреляции .

Для оценки параметров нелинейных уравнений множественной регрессии предварительно осуществляется преобразование последних в линейную форму (с помощью замены переменных) и МНК применяется для нахождения параметров линейного уравнения множественной регрессии в преобразованных переменных.

В случае внутренне нелинейных зависимостей (которые невозможно привести к линейному виду) для оценки параметров по методу наименьших квадратов приходится применять методы нелинейной оптимизации.