ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ

При необходимости исследования связи между 3 и более случайными величинами используются частные и множественные коэффициенты корреляции. Рассмотрим случай трех переменных x,y и z (при числе переменных больше трех выражения для коэффициентов корреляции могут быть выписаны по аналогии).

Зависимость между двумя переменными х и у при фиксированной третьей переменной – z оценивается с помощью частного коэффициента корреляции p_xy,z. По аналогии можно определить частные коэффициениы корреляции по остальным парам переменных p_xz,yp_zy,x.

Выборочные частные (парные) коэффициенты корреляции определяются с помощью соотношений [12]:

(4.49)

(4.50)

(4.51)

(4.52)

Так же, как и простые коэффициенты корреляции, парные коэффициенты принимают значения от -1 до +1 . Гипотеза Н₀: p_xy,z=0 для коэффициента корреляции p_xy,z (для остыльных аналогично) проверяется с помощью статистики:

(4.53)

где k-число переменных (в нашем случае k=3).

При справедливости Н₀ величина t распределена в соответствии с распределением Стьюдента при f=n-k степенях свободы.

Если :

(4.54)

то нулевая гипотеза Н₀ отклоняется с вероятностью α. Множественная корреляция исследуется в случае, когда необходимо установить существенность взаимосвязи одной переменной с совокупностью остальных. Выборочные множественные коэффициенты корреляциии обозначаются r_x,yz, r_y,xz, r_z,xy и выражаются через парные коэффициенты корреляции с помощью соотношений:

(4.55)

(4.56)

(4.57)

Между частными, множественными и обыкновенными парными коэффициентами корреляции имеют место, так называемые, контрольные соотношения:

(4.58)

(4.59)

(4.60)

Для проверки гипотезы Н₀: p_x,yz=0 используется статистика:

(4.61)

имеющая при справедливости Н₀ F-распределение с f₁=k-1 и f₂=n-k степенями свободы (k-число переменных, в нашем случае k=3).

Таблица 4.14

Критические значения r_1,23…k коэффициента множественной корреляции (k-число переменных, n-объем выборки)[12]

Окончание таблицы 4.14

Если F >F_α(f₁,f₂), то соответствующая корреляция признается значимой. Критическое значение коэффициента корреляции равно:

(4.62)

Корреляция признается значимой при r_x,yz ≥ r_x,yz(α). Критические значения r_1,23…k (для общего случая k переменных) приведены в таблице 4.14.

Пример [12]: Вычислить коэффициенты частной и множественной корреляции и проверить из значимость при доверительной вероятности α=0,95 для данных, приведенных ниже (n=10, k=3)

Найдем парные коэффициенты корреляции. Вычисляем коэффициент r_xy:

Вычисляем коэффициент r_xz:

Вычисляем коэффициент r_yz:

Вычислим теперь частные коэффициенты корреляции:

Вычислим множественные коэффициенты корреляции:

Вычислим t-статистики для проверки значимости частных коэффициентов корреляции:

- для проверки

-для проверки

- для проверки

Для α=0,95 и f=n-k=7 из [4] для t-распределения имеем . Видим, что

Следовательно, наличие частной корреляции отклоняется с достоверностью α=0,95.

Для коэффициентов множественной корреляции находим критическое значение (таблица 4.14) при k=3, n-k=7 и α=0,95. Имеем r_1,23(0,95)=0,758.

Так как ни один множественный коэффициент корреляции (r_x,yz=0,596 r_y,xz=0,689 и r_z,xy=0,516) не превышает критическое значение 0,758, то и наличие множественной корреляции отклоняется с достоверностью 0,95.

В заключении проверим правильность вычислений, используя контрольные соотношения:

4.3. РЕГРЕССИОННЫЙ АНАЛИЗ [12, 13, 14]

Рассмотренные ранее методы дисперсионного и корреляционного анализа позволяют выявить наличие связи между случайными величинами и оценить силу этой связи.

Следующей ступенью является выявление конкретного функционального вида связи между случайными величинами.

При наличии корреляционной связи между у и х имеет место соотношение F(y)=F(x,y), т.е. функция распределения случайной величины у зависит от значения случайной величины х.

Наибольший практический интерес представляет определение зависимости ,описывающей истинную зависимость между у и х. Зависимость средних значений называется регрессией у по х, а методы нахождения таких зависимостей и оценки их статистических свойств составляют содержание регрессионного анализа.

По выборочным данным можно найти только оценку истинной регрессии, содержащую ошибку, связанную со случайностью выборки.

В основе регрессионного анализа лежит принцип наименьших квадратов, в соответствии с которым в качестве уравнения регрессии y=f(x) выбирается функция, доставляющая минимум сумме квадратов разностей:

. (4.63)

Как правило, вид функции f(x) определяется заранее, а методом наименьших квадратов определяются ее коэффициенты, минимизирующие S. Количественной мерой рассеяния значений y_i вокруг регрессии f(x) является дисперсия:

(4.64)

где k – число коэффициентов, входящих в аналитическое выражение регрессии (например, если f(x) – многочлен степени L, то k=(L+1).

В зависимости от вида уравнения регрессии у = f(x) различают линейную (f(x) – многочлен первой степени) и нелинейную (f(x) – многочлен степени ≥2) регрессии.

Вид функции f(x) выбирается исходя из особенностей исследуемого явления (процесса), а так же из общего графического анализа зависимости между у и х.

Чаще всего ограничиваются рассмотрением линейной регрессионной модели, а при нелинейной зависимости у=f(x) используют различные линеаризующие преобразования переменных у и х. Наиболее распространенные из этих преобразований приведены в табл. 4.15 [12].

Схема регрессионного анализа включает в себя последовательное решение следующих задач [12, 13, 14]: нахождение выборочной оценки истинной регрессии, оценка статистической значимости выборочной регрессии в сравнении с безусловным разбросом значений у_i, характеризующимся дисперсией σ_у²; определение доверительных областей, с заданной вероятностью включающих в себя истинную регрессию.

Таблица 4.15

Линеаризующие функциональные преобразования (у^*=а^*+b^*x^*)

Исходная зависимость у= f(x)	Преобразование переменных	Преобразование коэффициентов
у*	х*	а*	b*
	y		a	b
		x

Окончание таблицы 4.15

Исходная зависимость у= f(x)	Преобразование переменных	Преобразование коэффициентов
у*	х*	а*	b*
		x	a	b
	lgy	x	lga	lgb
	lgy	lgx	lga	b
	lny	x	lna	b
	lny		lna	b

Среди дополнительных задач, позволяющих получить полную статистическую картину изучаемой регрессии, отметим [12]: анализ регрессионных остатков (разница между выборочной регрессией и выборочными значениями функции); анализ наличия грубых отклонений от регрессии (выбросов); построение толерантных границ для регрессии. Разработанный в настоящее время аппарат регрессионного анализа предполагает, что значения у_i взаимно независимы и нормально распределены. Выполнение этих условий должно быть предварительно проверено с помощью критериев нормальности (см. раздел 4) и критериев сравнения дисперсий (см. раздел 4).

ЛИНЕЙНАЯ РЕГРЕССИЯ

Линейный регрессионный анализ исходит из наличия зависимости , где α и β – неизвестные коэффициенты регрессии. Выборочные оценки α и β в дальнейшем будем обозначать a и b соответственно.

Определение коэффициентов регрессии методом наименьших квадратов:оценки наименьших квадратов являются решениями системы нормальных уравнений, строящихся по совокупности наблюдаемых значений у_i для совокупности значений х_i [12, 13, 14]:

(4.65)

из которой следует система:

(4.66)

Решение системы дает искомые оценки коэффициентов регрессии:

(4.67)

(4.68)

Для проверки правильности вычислений можно использовать соотношение:

(4.69)

Вычисления a и b существенно упрощается, если интервалы между значениями независимой переменной х постоянны, т.е. если х_i+1 - x_i=const (i=1,2,…,n-1). В работе [12] представлен экономичный линейный метод оценивания, который при незначительной потере в точности позволяет существенно сократить время вычислений. Эти оценки имеют вид:

, (4.70)

(4.71)

где k – ближайшее целое к .

Пример [12]: в результате наблюдений за зависимостью y=f(x) получены следующие данные:

Необходимо найти оценки коэффициентов регрессии у по х методом наименьших квадратов.

Находим:

.

Далее вычисляем оценки:

.

Следовательно, уравнение регрессии у по х имеет вид:

.

Пример [12]:в результате наблюдения за зависимостью y=f(x) получены следующие данные:

Необходимо найти оценки коэффициентов регрессии у по х.

Воспользуемся линейными оценками. Примем k=n/3=5 и вычисляем:

В случае нелинейной модели форму нам должны подсказать - теория, интуиция, опыт, анализ эмпирических данных и т.д. Выбор формы зависимости можно осуществить при помощи графического анализа материала наблюдений. Одним и тем же условиям могут удовлетворять несколько различных функций (ниже представлены примеры таких функций [10]).

Рис. 4.2 Линейная зависимость Y=α+βX+ε.	Рис. 4.3 Квадратичная зависимость: Y=α+βX+γX2+ε

Рис.4.4 Степенная зависимость Y=AeβXε	Рис. 4.5 X и Y независимы

Нас интересуют только те формы зависимости, которые путем преобразования переменных и параметров можно свести к линейным. Т.е. после преобразования переменных и коэффициентов новые переменные и ошибка будут связаны линейным соотношением.

4.3.2. СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ РЕГРЕССИОННОЙ МОДЕЛИ [10, 12, 13, 14, 15]