Проверка статистических гипотез о множественной регрессии

3.6 Первый вопрос, который возникает после получения уравнения множественной регрессии и соответствующего ему коэффициента множественной корреляции, заключается в том, существует ли вообще эта связь зависимой переменной Y с набором независимых признаков X. Нулевая гипотеза, заключается, таким образом, в предположении то-

- 38 -

го, что эта связь отсутствует. Для ее проверки используются принципы дисперсионного анализа. В частности, они изложены в разделе 2.5 Главы 2.

Дисперсионному анализу подвергается вариация зависимого признака Y. Так, его общая вариация может быть описана суммой

_N

Q = S (Y_i - M_y)² ,

^{i = 1}

где M_y - средняя арифметическая величина признака Y. На основе этой суммы может быть получена общая дисперсия независимой переменной

Q

s_y² = .

N - 1

Остаточная вариация значений признака Y по отношению к регрессионным оценкам Y_^i может быть описана суммой

_{N N}

Q_o = S (Y_i - Y_^i)² = S u_i² .

^{i = 1 i = 1}

Число степеней свободы для этой вариации зависит от количества независимых переменных и выражается в виде N - m - 1. Поэтому, остаточная дисперсия, опирающаяся на сумму Q_o, находится в виде

Q_o

s_yo² = .

N - m - 1

Наконец, существует вариация регрессионных оценок Y_^i по отношению к общему среднему уровню M_y, описываемая суммой квадратов отклонений

_N

Q_r = S (Y_^i - M_y)² .

^{i = 1}

Она опирается на число степеней свободы, равное числу независимых переменных m, и соответствующая оценка дисперсии равна

Q_r

s_yr² = .

m

Для трех сумм, описывающих разные компоненты вариации, справедливо соотношение

Q = Q_r + Q_o .

Очевидно, что в соответствии с принципами дисперсионного анализа суждение о существовании неслучайной вариации регрессионных оценок, описываемой дисперсией s_yr², может быть проверено сравнением ее величины с аналогичной дисперсией остаточной вариации, которая в данном случае считается случайной. Такое сравнение можно провести с применением F-критерия Фишера

s_yr²

F =

s_yо²

с числами степеней свободы n₁ = m n₂ = N - m - 1. Для конкретных чисел степеней свобо-

- 39 -

ды n₁ и n₂ и уровня вероятности ошибки 1-го рода a (0.05, 0.01 и 0.001) по таблицам F-распределения Фишера следует найти критическое значение F_o. При F > F_o можно считать, что предположение об отсутствии регрессионной связи должно быть отвергнуто как не согласующееся с эмпирическими данными. Если F < Fo предположение об отсутствии связи можно сохранить.

При проведении вычислений уравнения множественной регрессии в результатах проведения описанного дисперсионного анализа обычно приводятся значения сумм Q_r и Q_o чисел степеней свободы n₁ и n₂, дисперсий s_yr² и s_yо², F-критерия и соответствующей ему P - вероятности ошибки первого рода. Если P < a (0.05, 0.01 и 0.001) предположение об отсутствии множественной связи отвергается. При P > a это предположение можно сохранить.

3.7 При проведении вычислений множественной регрессии следует помнить о необходимости соблюдения определенных соотношений между количеством наблюдений N и числом независимых переменных m. В частности, число степеней свободы для остаточной вариации равно n₂ = N - m - 1. Поэтому, если m оказывается близким к N, n₂ становится малым, что может привести к повышению критического уровня F_o и к консервативному сохранению нулевой гипотезы об отсутствии множественной связи. В ситуации m > > N, получить уравнение регрессии окажется невозможным. Таким образом, следует соблюдать правило, в соответствии с которым число независимых переменных должно быть значительно меньше числа наблюдений. Существуют даже рекомендации иметь число наблюдений N по меньшей мере в 5 раз большее числа независимых признаков m. Иногда выдвигается еще более строгое требование, чтобы это превышение было бы двадцатикратным, т.е. N/m > 20.

В соответствии с этими обстоятельствами часто бывает необходимым применение поправок к величине коэффициента множественной корреляции, находимой по формулам (3.10) и (3.22). Исправленное значение R_*² находится с учетом соотношения числа наблюдений N и количества независимых признаков m по формуле

N - 1

R_*² = 1 - (1 - R² ) . (3.24)

N - m - 1

Нетрудно видеть, что R_*² < R² . В ситуации большого числа наблюдений при малом количестве независимых признаков уменьшение исправленного значения R_*² по сравнению с R² окажется небольшим.

При малом числе наблюдений (N <60) и одновременно при большом числе независимых переменных признаков (m>20) формула (3.24) может давать неадекватные результаты. Для таких случаев рекомендуется применять исправленное значение коэффициента множественной корреляции по формуле Брауни

(N - m - 3) R_*⁴ + R_*²

R_В² = ,

(N - 2m -2) R_*² + m

где R_*² находится по (3.24).

- 40 -

3.8 В случае, когда по результатам дисперсионного анализа устанавливается неслучайная множественная связь зависимой переменной Y с набором независимых признаков X, следует проверить предположения о неслучайности вкладов разных X_i в регрессионную модель. Такая проверка может основываться на рассмотрении предположений о том, что для разных признаков X_i коэффициенты регрессии a_i неслучайно отличаются от нулевого уровня. Очевидно, что если для каких-то показателей X_i коэффициенты множественной регрессии окажутся случайно отличающимися от нуля, говорить об их вкладе в множественную корреляцию будет рискованно.

Таким образом, после установления существования неслучайной общей множественной регрессионной связи, для каждого независимого признака X₁, X₂, X₃, ..., X_m следует проверить нулевую гипотезу о том, что его коэффициент множественной регрессии a_i равен нулю. Для этой цели может быть использован простой критерий

a_i

t = , (3.25)

s_ai

где s_ai - квадратическая ошибка соответствующего коэффициента регрессии a_i. В случае, когда нулевая гипотеза заведомо справедлива, этот критерий имеет t-распределение Стьюдента с числом степеней свободы n = N - m - 1. Таким образом, для конкретного n и вероятности ошибки 1-го рода a (0.05, 0.01 и 0.001) по таблицам t-распределения Стьюдента следует найти критическое значение t_o. Если t > t_o , предположение об отсутствии вклада признака X_i в множественную регрессионную связь должно быть отвергнуто как не согласующееся с эмпирическими данными. Если t < t_o предположение об отсутствии отличий a_i от нуля можно сохранить.

При использовании компьютерных программ при вычислении значений t-критерия для коэффициента регрессии a_i по каждому признаку X_i по формуле (3.25) также находится соответствующая ему P - вероятность ошибки первого рода. Если P < a (0.05, 0.01 и 0.001) предположение об отсутствии вклада у какого-то признака в множественную связь отвергается. При P > a это предположение можно сохранить.

Значение квадратических ошибок s_ai для разных коэффициентов множественной регрессии a_i определяются следующим образом. В процессе вычислений параметров регрессии, изложенном в разделе 3.4, для матрицы плана D находится про изведение D'D, имеющее вид (3.18) и матрица (D'D)^-1 обратная ему. Обозначим диагональные элементы матрицы (D'D)^-1 через d(00), d(11), d(22), d(33), ..., d(mm). Тогда для i-го коэффициента множественной регрессии a_i квадратическая ошибка s_ai может быть найдена по формуле

s_ai = s_yo(d(ii))^1/2 , (3.26)

где s_yo - среднее квадратическое отклонение остаточной изменчивости.

Пример 3.1 Рассмотрим проведение регрессионного анализа тазогребневого диаметра по различным размерам тела в выборке 242 женщин. Применение множественной регрессии этого признака по скелетным, обхватным размерам тела и жировым складкам направлено на выяснение влияния на изменчивость ширины таза скелетного и жирового соматических компонентов. Результаты вычислений параметров уравнения множественной регрессии приведены в таблице 3.1.

- 41 -

Таблица 3.1. Результаты множественного регрессионного анализа ширины таза по 20 размерам тела по выборке 242 женщин

Величина множественного коэффициента корреляции ширины таза по 20 размерам тела равна 0.690, а его квадрат - коэффициент множественной детерминации - 0.476. Исправленная с учетом количества независимых переменных величина коэффициента детерми нации составляет 0.429, чему соответствует доля вариации тазогребневого диа-

Таблица 3.2. Результаты дисперсионного анализа при проверке неслучайности множественной регрессии ширины таза по 20 размерам тела

по выборке 242 женщин

- 42 -

метра, определяемая влиянием на него других размеров тела - 42.9%. Проверка неслучайности множественной регрессионной связи с использованием дисперсионного анализа дала результаты, приведенные в таблице 3.2. Можно видеть, что с практически нулевой вероятностью ошибки 1-го рода (P) нулевая гипотеза об отсутствии этой связи должна быть отвергнута.

Суждение об участии в множественной связи различных признаков может быть сделано по значениям стандартизованных коэффициентов регрессии (табл.3.1). Нетрудно видеть, что наибольшие по абсолютной величине коэффициенты имеют: обхват груди, длина ноги, жировые складки на животе и бедре. Отсюда можно сделать вывод о том, что вариация тазового диаметра у женщин зависит в первую очередь от поперечного развития тела, связанного главным образом с развитием жирового компонента, и от длины нижней конечности.

При проверке случайности отличий от нуля коэффициентов множественной регрес-сии с применением t-критерия достоверные значения этих коэффициентов были найдены лишь для трех признаков: обхвата груди, длины ноги и ширины лодыжки. Последний признак входит в регрессионное уравнение с отрицательным знаком. Поэтому, можно утверждать, что вариация диаметра таза в какой-то мере определяется также попереч-ными размерами мыщелков нижней конечности, причем это влияние противоположно по направлению по сравнением с корреляционными связями тазогребневого диаметра с поперечным развитием тела и длиной нижней конечности.