Мультиколлинеарность

Под мультиколлинеарностью понимается высокая взаимная коррелированность объясняющих переменных.

При построении многофакторных моделей должно соблюдаться требование возможно меньшей коррелированности включенных в модель признаков-факторов (отсутствие мультиколлинеарности).

Мультиколлинеарность:

искажает величины параметров модели, которые имеют тенденцию к завышению;

приводит к изменению смысла экономической интерпретации коэффициентов регрессии;

вызывает слабую обусловленность системы нормальных уравнений;

осложняет процесс определения наиболее существенных факторных признаков.

В решении проблемы мультиколлинеарности можно выделить несколько этапов:

1. Установление наличия мультиколлинеарности:

а) проверяется выполнение условия:

(3.5)

и вычисляется значение статистики Фаррара–Глоубера по следующей формуле:

(3.6)

где

количество факторных признаков;

объём совокупности;

определитель матрицы парных межфакторных коэффициентов корреляции, которая получается вычёркиванием первой строки и первого столбца в табл. 3.1);

уровень значимости.

Критическое значение можно найти с помощью функции ХИ2.ОБР.ПХ

Если условие (3.5) выполняется, то это означает, что недиагональные ненулевые коэффициенты корреляции указывают на коллинеарность факторов. Мультиколлинеарность считается доказанной;

б) высокие значения парных линейных межфакторных коэффициентов корреляции указывают на наличие интеркорреляции, т.е. линейной связи между двумя объясняющими переменными. Чем выше величина , тем выше интеркорреляция. Факторы и могут быть признаны коллинеарными, если то это свидетельствует о наличии интеркорреляции;

в) если близок к нулю, то это свидетельствует о наличии мультиколлинеарности.

Таблица 3.2

Матрица парных коэффициентов корреляции

Признак

2. Определение причин возникновения мультиколлинеарности:

а) изучаемые факторные признаки характеризуют одну и ту же сторону явления или процесса (например, показатели объема произведенной продукции и среднегодовой стоимости основных фондов одновременно включать в модель не рекомендуется, так как оба характеризуют размер предприятия).

б) использование в качестве факторных признаков, суммарное значение которых представляет собой постоянную величину (например, коэффициент годности и коэффициент износа основных фондов)

в) факторные признаки, являющиеся элементами друг друга (например, затраты на производство продукции и себестоимость единицы продукции)

г) факторные признаки, по экономическому смыслу дублирующие друг друга (например, прибыль и рентабельность продукции)

3. Разработка мер по устранению мультиколлинеарности

Устранение мультиколлинеарности возможно посредством исключения из корреляционной модели одного или нескольких линейно связанных факторных признаков или преобразование исходных факторных признаков в новые, укрупненные факторы. Вопрос о том, какой из факторов следует отбросить, решается на основе качественного и логического анализа изучаемого явления.

Методы устранения или уменьшения мультиколлинеарности:

Сравнение значений линейных межфакторных коэффицентов корреляции:

Суть метода: выбирается наибольшее абсолютное значение среди линейных межфакторных коэффициентов корреляции. Предпочтение отдается тому фактору, который более тесно, чем другие факторы, связан с результативным признаком, причем желательно, чтобы связь данного факторного признака с y была больше, чем его связь с другим факторным признаком, т.е.

(3.7)

Далее снова проверяется выполнение условия (3.3) и так далее до тех пор, пока не будет исключена мультиколлинеарность.

Метод исключения факторов на основе частных коэффициентов корелляции и детерминации

Частные коэффициенты корреляции, позволяют установить степень тесноты связи между результативным признаком у и каждым из факторных признаков при исключении искажающего влияния других факторных признаков. Следовательно, коэффициенты частной корреляции отражают степень «чистого» влияния факторного признака на результативный признак. Для их расчета могут быть использованы парные коэффициенты корреляции.

Для случая зависимости результативного признака у от двух признаков-факторов ( и ) определяются два коэффициента частной корреляции:

• частный коэффициент корреляции между результативным признаком у и фактором при элиминировании фактора :

(3.8)

• частный коэффициент корреляции между результативным признаком у и фактором при элиминировании фактора :

(3.9)

Для общего случая частные коэффициенты корреляции определяются по формуле

(3.10)

где — обратная матрица матрицы .

Величина частного коэффициента корреляции лежит в пределах от 0 до 1, а знак определяется знаком соответствующих параметров регрессии.

Рассчитывая величины частных коэффициентов корреляции, следует иметь в виду, что каждый из них по своей абсолютной величине не может быть больше величины коэффициента множественной (совокупной) корреляции

Частные коэффициенты детерминации позволяют оценить вклад в мультиколлинеарность каждого из факторных признаков и вычисляются по формуле

(3.11)

Фактические значения F-критерия сравниваются с критическими, вычисляемыми для степеней свободы , и уровне значимости . Если то соответствующие независимые переменные мультиколлениарны с другими.

Далее осуществляется проверка наличия интеркорреляции каждой пары переменных. С этой целью по выражению (3.10) вычисляются частные коэффициенты корреляции и значения t-критериев Стъюдента по формуле

(3.12)

Фактические значения t-критериев сравниваются с критическими при степенях свободы и уровне значимости .Если то между соответствующими независимыми переменные присутствует интеркорреляция. Удалить следует ту переменную, у которой большее значение F-критерия.

Далее снова проверяется выполнение условия (3.5) и так далее до тех пор, пока не будет исключена мультиколлинеарность.

Метод главных компонент

Если по каким-то причинам перечень независимых пе­ременных не подлежит изменению, то с целью исключения мультиколинеарности можно воспользо­ваться методом главных компонент.

Применение метода главных компонент предполагает переход от взаимозависимых переменных х к независимым друг от друга переменным z, которые называют главными компонентами. Каждая главная компонента может быть пред­ставлена как линейная комбинация стан­дартизованных объясняющих переменных , которые определяются по формуле:

. (3.13)

Количество компонент может быть меньше или равно ко­личеству исходных независимых переменных р. Компоненту с номером k можно записать следующим образом:

. (3.14)

Оценки в формуле (3.14) соответству­ют элементам k-го собственного вектора матрицы

Нумерация главных компонент не является произвольной. Первая главная компонента имеет максималь­ную дисперсию, ей соответствует максимальное собственное число матрицы , последняя — минимальную дисперсию и наименьшее собственное число.

(3.15)

где — собственное число, соответствующее данной компоненте; в знаменателе формулы (3) приведена сумма всех собственных чисел матрицы .

После расчета значений компонент строят регрессию, ис­пользуя МНК.

, (3.16)

гдеt_y— стандартизованная зависимая перемен­ная; —коэффициенты регрессии по главным компонен­там; z₁,z₂,...,z_k—главные компоненты, упорядоченные по убыва­нию собственных чисел ; — случайный остаток.

После оценки параметров регрессии (3.14) можно перей­ти к уравнению регрессии в исходных переменных, используя выражения (3.14)—(3.15).

Рассмотрим применение перечисленных методов на данных примера 1

Пример 1.По данным, полученным от 40 промышленных предприятий одного из регионов, изучается зависимость объема выпуска продукции Y(млн. руб.) от четырех факторов:

X₁ - численность промышленно-производственного персонала, чел.;

X₂- среднегодовая стоимость основных фондов, млн руб.;

X₃- электровооруженность 1 чел.-ч., кВт-ч;

X₄- прибыль от реализации продукции, млн руб.

Сравнение значений линейных межфакторных коэффицентов корреляции:

=167,01; =12,59. Условие (3.5) выполняется, следовательно мультиколлинеарность присутствует.

В соответствии (3.7) исключаем фактор 4.

=62,97; =7,81.

Исключаем фактор 2.

=0,84; =3,84. Условие (3.5) не выполняется, следовательно мультиколлинеарность отсутствует.

Определим параметры уравнения регрессии с помощью режима “Регрессия”

Как следует из итогов параметры уравнения и уравнение в целом значимы.

Точность (величина ошибки)

Метод исключения факторов на основе частных коэффициентов корреляции и детерминации

=167,01; =12,59. Условие (3.5) выполняется, следовательно, мультиколлинеарность присутствует.

Все частные коэффициенты детерминации больше их критического значения, что подтверждает ранее сделанный вывод о наличии мультиколлинеарности.

Все расчётные значения t-критерия, кроме ,больше критического. Максимальное значение между первым и четвёртым факторами. Для того чтобы избавиться от интеркорреляции необходимо исключить фактор так как у него большее значение F-критерия. Следовательно, он больше влияет на общую мультиколлинеарность факторов.

Далее в процессе решения был исключён фактор . Матрица имеет следующий вид

		X3	X4
=	X3	1,000	0,174
	X4	0,174	1,000

=1,16; =3,84. Условие (3.5) не выполняется, следовательно мультиколлинеарность отсутствует.

Определим параметры уравнения регрессии с помощью режима “Регрессия”

В связи с тем, что параметр не значим, фактор 3 исключим из дальнейшего рассмотрения.

Как следует из итогов параметры уравнения и уравнение в целом значимы.

Точность (величина ошибки)

Рассмотрим вариант короткой регрессии (первый метод без учёта третьего фактора

Как следует из итогов параметры уравнения и уравнение в целом значимы.

Точность (величина ошибки)

Целесообразность включения фактора Х3 рассмотрим с помощью теста на выбор «длинной» и «короткой» регрессии. Этот тестиспользуется для отбора наиболее существенных объясняющих переменных. Иногда переход от большего числа исходных показателей анализируемой системы к меньшему числу наиболее информативных факторов может быть объяснен дублированием информации из-за сильно взаимосвязанных факторов. Стремление к построению более простой модели приводит к идее уменьшения размерности модели без потери ее качества. Для этого используют тестпроверки “длинной” и “короткой” регрессий.

Если , то гипотеза отвергается (выбираем “длинную”регрессию).

Метод главных компонент

Обратимся к программе STATISTICA 6.1.по следующей схеме: Анализ→Многомерный разведочный анализ→Анализ главных компонент и классификация. Введём массив исходных данных примера 1.Результатом решения являются собственные числа и собственные векторы матрицы .

2,825	0,984	0,1677	0,023

	Собственные векторы
	Фактор 1	Фактор 2	Фактор 3	Фактор 4
	-0,566	-0,282	-0,124	0,764
	-0,556	0,154	0,785	-0,227
	-0,245	0,909	-0,322	0,102
	-0,557	-0,267	-0,515	-0,595

Рис. 3. Процент общей дисперсии собственныхчисел матрицы корреляции

Матрица парных линейных коэффициентов корреляции между независимыми переменными примера 1.

Собственные числа на рис.3 представлены в порядке убывания, отражая тем самым степень важности соответствующих факторов для объяснения вариации исходных данных. Так фактор, соответствующий максимальному собственному числу (2,825), описывает 70,635% общей вариации. Второй фактор для значения (0,984) описывает 24,597% общей вариации и т.д.

На практике применяют различные критерии для правильного выбора факторного пространства. Наиболее простой из них – оставить только те факторы, собственные числа которых больше 1. В данном примере только первое собственное число больше 1, т.е. можно оставить в факторном пространстве первый фактор. Вместе с тем оставим первые два фактора. С этой целью сформируем массив стандартизованных переменных по формуле (3.13)

Введём обозначения матрицы собственных векторов

Четыре компоненты, соответствующие четырём собственным векторам, можно записать в следующем виде

Умножим матрицу стандартизованных независимых переменных (Т) на матрицу F.

Результатом умножения является матрица Z.

Полученные данные обработаем с помощью режима “Регрессия”

В полученном уравнении регрессии значимы параметры по всем четырём компонентам.

Далее будем рассматривать только первые два фактора, так как они описывают более 95% общей вариации результативного признака.

В соответствии с формулой

.

После приведения подобных членов имеем следующее уравнение регрессии

Преобразуем полученное выражение в регрессию с исходными переменными:

и т.д.

-

следовательно, выбираем регрессию с 2-мя факторами.

Таким образом, метод главных компонент позволил получить наилучший результат.

Метод включения факторов (метод пошаговой регрессии).

Суть метода заключается в том, что в модель включаются факторы по одному в определенной последовательности. На первом шаге в модель вводится тот фактор, который имеет наибольший коэффициент корреляции с зависимой переменной.

На втором и последующих шагах в модель включается фактор, который имеет наибольший коэффициент корреляции с остатками модели.

После включения каждого фактора в модель рассчитываются ее характеристики и модель проверяют на достоверность.

Построение модели заканчивается, если модель перестает удовлетворять определенным условиям (например, , где n –число наблюдений; число факторных признаков, включаемых в модель; –некоторое заданное малое число; остаточное среднеквадратическое отклонение; остаточное среднеквадратическое отклонение, полученное на предыдущем шаге и включающее переменных).

Метод исключения факторов.

Применяется после устранения мультиколлинеарности. Суть метода состоит в том, что в модель включаются все факторы. Затем после построения уравнения регрессии из модели исключают фактор, коэффициент при котором незначим и имеет наименьшее значение t- критерия. После этого получают новое уравнение регрессии и снова проводят оценку значимости всех оставшихся коэффициентов регрессии.

Процесс исключения факторов продолжается до тех пор, пока модель не станет удовлетворять определенным условиям и все коэффициенты регрессии не будут значимы.

Отобранные факторы включаются в модель множественной зависимости. При этом следует учитывать, что число факторов, включаемых в модель, должно быть в 7 — 8 раз меньше, чем число единиц, входящих в совокупность.