Лекция 6 Множественный регрессионный анализ

Параметры модели множественной регрессии можно оценить с помощью метода наименьших квадратов. Формула для вычисления параметров регрессионного уравнения имеет вид:

Одним из условий регрессионной модели является предположение о линейной независимости объясняющих переменных, т.е., решение задачи возможно лишь тогда, когда столбцы и строки матрицы ис­ходных данных линейно независимы. Это условие выполняется не всегда. Линейная или близкая к ней связь между факторами называется мультиколлинеарностью и приводит к линейной зависимости нормальных уравнений, что делает вычисле­ние параметров либо невозможным, либо затрудняет содержатель­ную интерпретацию параметров модели.

Мультиколлинеарность может возникать в силу разных причин. На­пример, несколько независимых переменных могут иметь общий вре­менной тренд, относительно которого они совершают малые колебания. Считают явление мультиколлинеарности в исходных данных установленным, если коэффициент парной корреляции между двумя переменными больше 0,8. Чтобы избавиться от мультиколлинеарности, в модель включают лишь один из линейно связанных между собой факторов, причем тот, который в большей степени свя­зан с зависимой переменной.

Качество модели регрессии оценивается по следующим направлениям:

1) проверка качества всего уравнения регрессии;

2) проверка значимости всего уравнения регрессии;

3) проверка статистической значимости коэффициентов уравнения регрессии;

4) проверка выполнения предпосылок МНК.

Для оценки качества модели множественной регрессии вычисляют коэффициент множественной корреляции (индекс корреляции) R икоэффициент детерминацииR²:

, (5)

где у - фактическое значение зависимой переменной; y^{^}- рассчитанное по уравнению регрессии значение зависимой переменной; y^— - среднее арифметическое значение переменной у.

Чем ближе к единице значение этих характеристик, тем выше качество модели.

В многофакторной регрессии добавление дополнительных объ­ясняющих переменных увеличивает коэффициент детерминации. Следовательно, коэффициент детерминации должен быть скор­ректирован с учетом числа независимых переменных. Скоррек­тированный R², или _, рассчитывается так:

, (6)

где n - число наблюдений; k -число независимых переменных.

Проверка значимости модели регрессии

Для проверки значимости модели регрессии используется F-критерий Фишера, вычисляемый по формуле:

(7)

Если расчетное значение с n₁= к и n₂ = (n - k - 1) степенями свободы, где k – количество факторов, включенных в модель, больше табличного при заданном уровне значимости, то модель считается значимой.

Анализ статистической значимости параметров модели

значимость отдельных коэффициентов регрессии проверяется по t-статистике пу­тем проверки гипотезы о равенстве нулю j-го параметра уравнения (кроме свободного члена):

t_aj = / S_aj , (8)

где S_aj - стандартное (среднеквадратическое) отклонение коэффициента уравнения регрессии a_j.Величина S_aj представляет собой квадратный корень из произ­ведения несмещенной оценки дисперсии и j-го диагонального эле­мента матрицы, обратной матрице системы нормальных уравнений.

S_{aj =} ´ , (9)

где b_jj - диагональный элемент матрицы (Х^Т Х)^-1.

Если расчетное значение t-критерия с (n - k - 1) степенями сво­боды превосходит табличное значение при заданном уровне зна­чимости, коэффициент регрессии считается значимым. В противном случае фактор, соответствующий этому коэффициенту, следует ис­ключить из модели, при этом оставшиеся в модели параметры должны быть пересчитаны.

Проверка выполнения предпосылок МНК

Проверка выполнения предпосылок МНК выполняется на основе анализа остаточной компоненты. Согласно общим предположениям регрессионного анализа, остатки должны вести себя как независимые (в действительности, почти независимые) одинаково распределенные случайные величины. В классических методах регрессионного анализа предполагается также нормальный закон распределения остатков.

Исследование остатков полезно начинать с изучения их графика. 0н может показать наличие какой-то зависимости, не учтенной в модели. График остатков может так же показать необходимость перехода к нелинейной модели (квадратичной, полиномиальной, экспоненциальной) или включения в модель периодических компонент.

График остатков показывает и резко отклоня­ющиеся от модели наблюдения - выбросы. Подобным аномальным наблюдениям надо уделять особо пристальное внимание, так как их присутствие мо­жет искажать значения оценок. Устранение вы­бросов может проводиться либо с помощью удаления этих точек из анализируемых данных, (эта процедура называется цензурированием), либо с помощью применения методов оценивания параметров, устойчи­вых к подобным грубым отклонениям.

Независимость остатков можно проверить расчетом первого коэффициента автокорреляции:

. (10)

Для принятия решения о наличии или отсутствии автокорреляции в исследуемом ряду фактическое значение коэффициента автокорреляции r(1) сопоставляется с критическим значением для 5%-ного уровня значимости (вероятности допустить ошибку при принятии нулевой гипотезы о независимости уровней ряда). Если фактическое значение коэффициента автокорреляции меньше табличного, то гипотеза об отсутствии автокорреляции в ряду может быть принята, а если фактическое значение больше табличного – делают вывод о наличии автокорреляции в ряду динамики.

Обнаружение гетероскедастичности

Для обнаружения гетероскедастич­ности обычно используют три теста, в которых делаются различные предположения о зависимости между дисперсией случайного члена и объясняющей переменной: тест ранговой корреляции Спирмена, тест Голдфельда-Квандта и тест Глейзера [Доугерти].

При малом объеме выборки для оценки гетероскедастичности может использоваться метод Голдфельда - Квандта.

Данный тест используется для проверки такого типа гетероскедастичности, когда дисперсия остатков возрастает пропорционально квадрату фактора. При этом делается предположение, что, случайная составляющая распределена нормально.

Чтобы оценить нарушение гомоскедастичности по тесту Голдфельда - Квандта необходимо выполнить следующие шаги:

1) Упорядочение п наблюдений по мере возрастания перемен­ной х.

2) Разделение совокупности на две группы (соответственно с малыми и большими значениями фактора х) и определение по каждой из групп уравнений регрессии.

3) Определение остаточной суммы квадратов для первой регрессии

4) Вычисление отношений (или ). В числителе должна быть большая сумма квадратов.

Полученное отношение имеет F распределение со степенями свободы k1=n1-m и k2=n-n1-m, (m – число оцениваемых параметров в уравнении регрессии).

Если то гетероскедастичность имеет место, нарушена предпосылка о равенстве дисперсий остаточных величин.

Важную роль при оценке влияния факторов играют коэффициен­ты регрессионной модели. Однако непосредственно с их помощью нельзя сопоставить факторы по степени их влияния на зависимую переменную из-за различия единиц измерения и разной степени ко­леблемости. Для устранения таких различий при интерпретации применяются средние частные коэффициенты эластичности Э (j) и бета-коэффициенты b (j), которые рассчитываются по формулам:

(11)

(12)

где S_xj , S_y - среднеквадратическое отклонение соответственно фактора x_j и зависимой переменной у.

Коэффициент эластичности показывает, на сколько процентов изменяется зависимая переменная при изменении фактораx_j на один процент. Однако он не учитывает степень колеблемости факторов.

Бета-коэффициент показывает, на какую часть величины средне­го квадратического отклонения S_y изменится зависи­мая переменная y с изменением соответствующей независимой пере­менной x_j на величину своего среднеквадратического отклонения при фиксирован­ном на постоянном уровне значении остальных независимых пере­менных.

Указанные коэффициенты позволяют упорядочить факторы по степени их влияния на зависимую переменную.

Долю влияния фактора x_j в суммарном влиянии всех факторов мож­но оценить по величине дельта - коэффициентов:

(13)

где - коэффициент парной корреляции между фактором x_j (j = 1,...,m) и зависимой переменной y.

Одна из важнейших целей моделирования заключается в прогнозировании поведения исследуемого объекта. При использовании построенной модели для прогнозирования делается предположение о сохранении в период прогнозирования существовавших ранее взаимосвязей переменных.

Для того чтобы определить область возможных значений резуль­тативного показателя, при рассчитанных значениях факторов следует учитывать два возможных источника ошибок: рассеивание на­блюдений относительно линии регрессии и ошибки, обусловленные математическим аппаратом построения самой линии регрессии. Ошибки первого рода измеряются с помощью характеристик точ­ности, в частности, величиной S_y. Ошибки второго рода обусловле­ны фиксацией численного значения коэффициентов регрессии, в то время как они в действительности являются случайными, нормально распределенными.

Различают два вида прогноза – точечный прогноз и интервальный прогноз. Точечный прогноз зависимой переменной y_пр вычисляют с помощью уравнения регрессии подстановкой в него прогнозируемые значения факторных переменных. Интервальный прогноз зависимой переменной учитывает отклонения прогнозных значений от линии регрессии .