МНК для множественной регрессии

Параметры уравнения множественной регрессии оцениваются, как и в парной регрессии, с помощью метода наименьших квадратов. При его применении должна минимизироваться остаточная сумма квадратов отклонений фактических величин от тeopeтических. Для уравнения множественной регрессии y = a +b₁x₁ + b₂x₂ + … + b_px_p + ε это выглядит следующим образом:

Q = Σ (y- y_x)² = Σ (y – (a +b₁x₁ + b₂x₂ + … + b_px_p ))²→min

В данном случае неизвестными являются параметры регрессии а, b₁, b₂, … , b_р. Чтобы их найти, продифференцируем остаточную сумму квадратов отклонений по этим переменным и приравниваем их к нулю. В итоге строится система нормальных уравнений, решение которой и позволяет получить оценки параметров регрессии:

Σу = пa +b₁Σx₁ + b₂Σx₂ + … + b_pΣx_p

Σуx₁ = aΣx₁ +b₁Σx₁² + b₂Σx₂x₁ + … + b_pΣx_px₁

………………………………………………………

Σуx_p = aΣx_p +b₁Σx₁x_p + b₂Σx₂x_p + … + b_pΣx_p²

Эта система может быть решена с помощью метода определителей:

a = Δa/Δ , b₁ = Δ b₁/Δ , b₂ = Δb₂/Δ , … , b_p = Δb_p/Δ

Здесь определитель системы

n Σx₁ Σx₂ ... Σx_p

Σx₁ Σx₁² Σx₂x₁ ... Σx_px₁

Δ = Σx₂ Σx₁x₂ Σx₂² … Σx_px₂ ,

… … … … …

Σx_p Σx₁x_p Σx₂x_p … Σx_p²

а частичные определителиΔa, Δ b₁ , Δb₂ , … , Δb_p получаются в результате замены соответствующего столбца матрицы определителя системы данными из ее левой части, например:

Σу Σx₁ Σx₂ ... Σx_p

Σуx₁ Σx₁² Σx₂x₁ ... Σx_px₁

Δa = Σyx₂ Σx₁x₂ Σx₂² … Σx_px₂

… … … … …

Σyx_p Σx₁x_p Σx₂x_p … Σx_p²