Оцінка значущості множинної регресії. Коефіцієнти детермінації і .

1.  Економічні явища та процеси визначаються великим числом діючих чинників. Це зумовлює необхідність дослідження залежності однієї результуючої змінної від пояснюючих (незалежних) змінних . Така задача розв’язується з допомогою множинного регресійного аналізу.

Об’єктом вивчення цієї теми є така модель множинної лінійної регресії:

(4.1)

де та — випадкові величини ( — збурення або залишок), — невідомі детерміновані параметри.

Нехай — спостережні значення пояснюючих змінних. Тоді модель (4.1) набере такого виду:

(4.2)

Систему рівнянь (4.2) запишемо у векторно-матричному вигляді:

(4.2*)

де

,

Оцінкою цієї моделі по вибірці обсягом є векторно-матричне рівняння

, (4.3)

де , штрих означає операцію транспонування матриці.

Покладемо, що стосовно моделі (4.2*) виконуються такі припущення.

Передумова 1. — випадковий вектор, змінні — детерміновані величини, а тому — детермінована матриця.

Передумова 2. 0_n .

Передумова 3. , де — одинична матриця порядку , — стала.

Передумова 4. — нормально розподілений випадковий вектор, тобто 0,

Передумова 5. Ранг матриці дорівнює

Означення. Модель (4.2*), яказадовольняє передумовам 1-5, називається класичною нормальною лінійною моделлю множинної регресії; якщо ж не виконується тільки передумова 4, то модель називається класичною лінійною моделлю множинної регресії.

Відмітимо, що згідно з передумовами 2 і 3 для компонент вектора виконуються рівності

.

Нагадаємо також, що позначає, як і у §2, коваріаційну матрицю -вимірної випадкової величини , а

Нарешті, передумова 5 означає, що обсяг вибірки повинен бути більшим від , а всі стовпці матриці є лінійно незалежними.

Таким чином, при всі передумови лінійної моделі парної регресії виконуються.

2. Детерміновану складову моделі (4.3) позначимо тобто.

(4.4)

Тоді критерієм вибору вектора оцінок згідно з методом найменших квадратів є мінімізація суми квадратів залишків:

(4.5)

Оскільки для будь-яких матриць та узгодженої вимірності , то після розкриття дужок в (4.5) отримаємо

Добуток є скалярною величиною, тому він не змінюється від транспонування:

З врахуванням цього умова (4.5) набуде такого вигляду:

(4.6)

Згідно з необхідною умовою екстремуму функції змінних потрібно прирівняти до нуля всі частинні похідні першого порядку від по цих змінних або у матричній формі — вектор частинних похідних:

Нехай та — -вимірні вектор-стовпці, — симетрична матриця порядку . Можна довести такі рівності:

Тому, покладаючи із (4.6) отримаємо

Врахувавши необхідну умову екстремуму

або

.

прийдемо до системи нормальних рівнянь у матричній формі для визначення вектора :

(4.7)

Згідно з передумовою 5 — матриця є невиродженою, тому розв’язком рівняння (4.7) є вектор

(4.8)

де — обернена матриця до матриці .

Основні властивості отриманих оцінок (4.8) визначаються наступними твердженнями.

Теорема Гаусса-Маркова. Нехай стосовно моделі (4.2*) виконуються передумови 1-3, 5. Тоді оцінки (4.8) вектора параметрів мають найменшу дисперсію в класі лінійних незміщених оцінок.

Доведення цієї теореми можна знайти, зокрема, в [6, стор. 94].

Якщо вектор знайдено, тоді вибіркове рівняння множинної регресії можна зобразити у такому вигляді:

(4.9)

де — групова (умовна) середня змінної при заданому векторі значень пояснюючих змінних

Задача 3.1. Підприємство, що складається із багатьох філій, досліджує залежність свого річного товарообігу у (млн. грн.) від торгової площі своїх філій (тис. кв. м.) і середньоденної інтенсивності потоку покупців (тис. покупців за день). Дані 10 філій наведені у табл. 3.1. Оцінивши параметри лінійної регресійної моделі , знайти вибіркове рівняння множинної регресії.

Таблиця 3.1

Номер філії	Значення
	6,9	1,2	10,8
	7,1	1,3	9,9
		1,1	13,7
	8,4	1,5	13,9
	4,3	0,8	8,5
	5,8	0,9	12,4
	7,7	1,3	12,3
	3,2	0,5
	1,5	0,2	8,3
	3,1	0,6	9,3

¡ Введемо позначення:

.

Знаходимо добутки та . В результаті отримаємо:

, .

Обернена матриця до матриці матиме вигляд:

.

Значення елементів вектора знайдемо, перемноживши матрицю на вектор :

.

Отже, ми отримали вибіркове рівняння множинної регресії:

.

Нагадаємо, що добутком -матриці , на -матрицю , є -матриця , для елементів якої виконуються рівності

.

При цьому використовується позначення .

У випадку здійснення розрахунків «вручну» рекомендується використання табл. 4.1 та 4.2.

Таблиця 4.1 Таблиця 4.2

	1,2	10,8	1,44	12,96	116,64			6,9	8,28	74,52
	1,3	9,9	1,69	12,87	98,01			7,1	9,23	70,29
	1,1	13,7	1,21	15,07	187,69				7,7	95,9
	1,5	13,9	2,25	20,85	193,21			8,4	12,6	116,76
	0,8	8,5	0,64	6,8	72,25			4,3	3,44	36,55
	0,9	12,4	0,81	11,16	153,76			5,8	5,22	71,92
	1,3	12,3	1,69	15,99	151,29			7,7	10,01	94,71
	0,5		0,25	5,5				3,2	1,6	35,2
	0,2	8,3	0,04	1,66	68,89			1,5	0,3	12,45
	0,6	9,3	0,36	5,58	86,49			3,1	1,86	28,83
	9,4	110,1	10,38	108,44	1249,23				60,24	637,13

Елементи першого рядка матриці отримуються шляхом множення чисел першого рядка матриці на відповідні елементи стовпців матриці з наступним додаванням добутків, тобто 10; 9,4; 110,1 (див. останній рядок табл. 4.1).

Елементи другого рядка матриці — це сума добутків чисел другого рядка на відповідні елементи стовпців матриці : 9,4; 10,38; 108,44. Нарешті, елементи третього рядка матриці (110,1; 108,44; 1249,23) також визначаються із останнього рядка табл. 4.1.

Елементи вектор-стовпця виписуються із останнього рядка табл. 4.2:

.

Нагадаємо також послідовність дій при знаходженні оберненої матриці :

1) обчислюється визначник (при цьому не існує, якщо );

2) для транспонованої матриці знаходиться приєднана матриця , де — алгебраїчні доповнення елементів матриці , тобто , — визначник, який отримується із шляхом ви креслення -го рядка та -го стовпця;

3) знаходиться . ¥

3. Дисперсії оцінок параметрів визначають точність рівняння множинної регресії. Для їх вимірювання розглядають так звану коваріаційну матрицю вектора оцінок параметрів , яка є матричним аналогом дисперсії однієї випадкової величини:

,

де елементи — коваріації оцінок параметрів та :

Знайдемо матрицю на підставі конкретної вибірки. Із урахуванням (4.2*) для нефіксованої вибірки отримаємо зображення вектора оцінок (4.8):

або

(4.10)

Із цієї рівності випливають такі висновки:

1) оцінки параметрів (4.8), знайдені за нефіксованою вибіркою, будуть містити випадкові помилки;

2) згідно із передумовами 1 та 2

,

тобто вектор є незміщеною оцінкою вектора параметрів .

У скороченому вигляді коваріаційна матриця вектора оцінок параметрів має такий вигляд:

(4.11)

оскільки

,

Враховуючи (4.10), детермінованість матриці , передумову 3 і симетричність матриці , отримаємо із (4.11)

.

Тобто, остаточно

(4.12)

Висновок: з допомогою матриці визначається не тільки сам вектор оцінок параметрів (4.8), але і дисперсії, і коваріації його компонент.

Із (4.12), зокрема отримуємо:

, , — відповідні діагональні елементи матриці .

4. Параметр , який фігурує у передумовах 3, 4, а також у рівності (4.12) — невідомий. Як і у випадку парної регресії його необхідно оцінити.

Розглянемо вектор залишків , який визначається із (4.3):

Для нефіксованої вибірки , а тому із врахуванням (4.2*) і (4.8)

тобто

звідки

Тоді

Оскільки два останні доданки знищуються, то

(4.13)

Перший доданок правої частини (4.13) дорівнює , оскільки згідно із передумовою 3

(4.14)

Матриця симетрична, тому — квадратична форма де — детерміновані величини. Тоді

.

Згідно із передумовою 3 останній доданок дорівнює нулю, а ( ). Позначимо або слід матриці — сума діагональних елементів матриці . Для будь-яких матриць та , для яких визначені добутки та , виконується рівність , використавши яку, отримаємо

Таким чином, , і остаточно із (4.13) та (4.14) отримаємо

, (4.15)

звідки визначається незміщена оцінка параметра або вибіркова залишкова дисперсія :

(4.16)

Число називається числом ступенів вільності.

Можна довести, що оцінки і параметрів і відповідно при виконанні передумови 4 некорелюють між собою як випадкові величини, тобто

Задача 3.2. Для задачі 3.1 знайти точкову оцінку дисперсії збурень та точкову оцінку для коваріаційної матриці вектора оцінок параметрів.

¡ Незміщену точкову оцінку невідомого параметра знайдемо за формулою (4.16), попередньо обчисливши та , , (табл. 4.3).

Таблиця 4.3

	1	2	3	4	5	6	7	8	9	10
	6,9	7,1		8,4	4,3	5,8	7,7	3,2	1,5	3,1	–
	6,6822	6,9952	6,7616	8,7592	4,2725	5,5273	7,4661	3,2942	1,2956	3,4502	–
	0,2178	0,1048	0,2384	-0,3592	0,0275	0,2727	0,2339	-0,0942	0,2044	-0,3502	0,4959
	0,0474	0,011	0,0568	0,129	0,0008	0,0744	0,0547	0,0089	0,0418	0,1226	0,5474

Зауваження. Раніше вже говорилося (див. задачу 2.1.) про накопичення додатних похибок у різницях , що приводить величину до незначного перевищення нуля. Значенням можна ігнорувати (вважати практично рівним нулю).

Використавши підсумок останнього рядка, отримаємо:

.

Оскільки в (4.12) параметр невідомий, то використаємо його незміщену точкову оцінку і отримаємо оцінку для коваріаційної матриці :

. ¥

5.З’ясуємо значущість коефіцієнтів регресії ( ) і побудуємо довірчі інтервали для параметрів моделі при умові їх значущості.

Згідно (4.12) і (4.16) незміщена оцінка дисперсії коефіцієнта регресії визначається за формулою

, ,

де — незміщена оцінка параметра , — -й діагональний елемент матриці .

Середнє квадратичне відхилення або стандартна помилка коефіцієнта регресії знаходиться за формулою

, . (4.17)

Оскільки випадкова величина для нефіксованої вибірки розподілена за законом Ст’юдента із ступенями вільності, то значуще відрізняється від нуля (гіпотеза відхиляється) на рівні значущості , якщо

, (4.18)

де — табличне значення — критерія Ст’юдента, визначене на рівні значущості при числі ступенів вільності .

Якщо використовується нерівність (4.18), тоді є сенс будувати довірчий інтервал для параметра , який визначається подвійною нерівністю

(4.19)

Для оцінки точності знаходження значень залежної змінної важливою є побудова довірчого інтервала (зони) для функції регресії або умовного математичного сподівання залежної змінної , знайденого у припущенні, що пояснюючі змінні набрали значення, які задаються вектором Для випадку парної регресії така довірча зона була побудована у §2 (див. (2.38)).

Узагальнюючи відповідні вирази на випадок множинної регресії, можна отримати довірчий інтервал

(4.20)

де — групова середня, знайдена за рівнянням регресії:

(4.21)

(4.22)

— стандартна помилка для величини .

Довірчий інтервал для індивідуальних (базисних) значень залежної змінної має такий вид:

(4.23)

де

. (4.24)

Задача 3.3. На рівні значущості для задачі 3.1 перевірити значущість коефіцієнтів регресії , , та побудувати для них довірчі інтервали з надійністю .

¡ Знайдемо середні квадратичні помилки коефіцієнтів регресії , , за формулою (4.17):

;

;

.

Тоді спостережні значення критерію:

, , .

Критична точка для двосторонньої критичної області при значеннях , знаходиться за верхньою частиною табл. 3 додатків: .

Оскільки, , і , то на рівні значущості робимо висновок, що , і .

Згідно з (4.19) для параметрів регресії , та матимемо довірчі інтервали:

,

,

або остаточно

,

,

. ¥

6.Під мультиколінеарністю будемо розуміти високу корельованість незалежних змінних. Мультиколінеарність може проявлятися у функціональній (явній) і стохастичній (прихованій) формах.

При функціональній формі мультиколінеарності хоча б один із парних зв’язків між незалежними змінними є лінійним функціональним зв’язком. У цьому випадку матриця є виродженою, оскільки містить лінійно залежні вектор-стовпці. А тому передумова 6 регресійного аналізу не виконується. Це приводить до неможливості розв’язування системи нормальних рівнянь і отримання оцінок параметрів регресійної моделі.

Проте в економічних дослідженнях мультиколінеарність частіше проявляється у стохастичній формі, коли між хоча б двома пояснюючими змінними існує тісний кореляційний зв'язок. Матриця у цьому випадку є не виродженою, але її визначник — дуже мале число. Разом з тим векторо оцінок і його коваріаційна матриця у відповідності із формулами (4.8) і (4.12) пропорційні матриці , а тому їх елементи обернено пропорційні величині визначника . В результаті отримують значні середні квадратичні відхилення (стандартні помилки) коефіцієнтів регресії , ,..., і оцінка їх значущості за критерієм Ст’юдента немає сенсу, хоча у цілому регресійна модель може виявитися значущою за критерієм Фішера-Снедокора.

Більше того, оцінки стають дуже чутливими до незначних змін результатів спостережень і обсягу вибірки. Рівняння регресії у цьому випадку, як правило, не має реального змісту, оскільки деякі із його коефіцієнтів можуть мати неправильні з точки зору економічної теорії знаки і невиправдано великі значення.

Точних кількісних критеріїв для визначення наявності або відсутності мультиколінеарності не існує. Разом з тим є деякі евристичні підходи по виявленню мультиколінеарності та видалення її або зменшення.

Один із таких підходів полягає в аналізі кореляційної матриці між незалежними змінними , , ..., і виявленні пар змінних, що мають високі коефіцієнти кореляції (по модулю) — як правило, більше 0,8. Якщо такі змінні існують, то говорять про мультиколінеарність між ними. Якщо виявлено таку пару змінних, тоді одну із них виключають із розгляду. При цьому, яку змінну залишити, а яку видалити, вирішують в першу чергу на підставі економічних міркувань. Якщо з економічної точки зору жодній із змінних неможливо віддати перевагу, то залишають ту із змінних, яка має більший коефіцієнт кореляції із залежною змінною.

Корисно також знаходити множинні коефіцієнти детермінації між однією із незалежних змінних та деякою групою решти незалежних змінних. Наявність відносно великого множника коефіцієнта детермінації ( ) свідчить про мультиколінеарність.

Інший підхід полягає у дослідженні матриці . Якщо визначник цієї матриці або її мінімальне власне значення близькі до нуля (наприклад, одного порядку із накопиченими помилками обчислень), то це свідчить про наявність мультиколінеарності. Про це ж може свідчити і значне відхилення максимального власного значення матриці від її мінімального власного значення .

7.Якість регресійної моделі, як і випадку одно факторних функцій регресії, будемо характеризувати коефіцієнтом детермінації:

.

Коефіцієнт детермінації як критерій вибору функції регресії має істотний недолік, який полягає у тому, що з додаванням до регресії нових пояснюючих змінних він ніколи не зменшується, а у більшості випадків, навпаки, збільшується. Це означає, що рівняння з відносно великим числом незалежних змінних будуть давати кращі результати, ніж з відносно малою їх кількістю. Однак з додаванням нового фактора губиться один ступінь вільності, що не завжди є бажаним, оскільки довірчі і прогнозні інтервали будуть тим менші, чим більшим є число ступенів вільності . Крім того, при застосуванні критеріїв Ст’юдента і Фішера-Снедокора бажано мати можливо більше число ступенів вільності.

Скорегований коефіцієнт детермінації має такий вигляд:

.

Зв'язок коефіцієнтів та виражається співвідношенням:

.