Парная линейная регрессия.

Связь между показателем Y и фактором Х с учетам возможных отклонений запишем в виде , где – неизвестные параметры регрессии, – случайная величина, которая характеризует отклонение параллельно оси наблюдаемых точек от линии регрессии.

Таким образом, показатель Y представляется в виде систематической составляющей и случайной составляющей величины . Зависимость , которая характеризует среднее значение показателя Y для данного значения фактора Х, называется регрессией. Можно сказать иначе. Регрессия характеризует тенденцию изменения показателя, обусловленную изменением фактора. Зависимость характеризует индивидуальное значение показателя Y с учетом возможных отклонение от средних значений.

Действительные значения параметров вычислить нельзя, так как мы имеем ограниченное число наблюдений, поэтому полученные расчетные значения параметров и являются статистическими оценками действительных параметров и . Обозначим оценки параметров соответственно через а и b. Тогда уравнение парной регрессии (рис.1) будет оценкой модели .

y

0 x_i x

Рис. 1.1. Отклонение теоретических значений от фактических.

Рассмотрим разность и , (i=1, n):

,

где – фактические, – расчетные значения показателя, – отклонение наблюдаемой точки ( ) от точки ( ) сглаживающей кривой. Метод наименьших квадратов заключается в таком подборе оценок параметров регрессии а и b, для которых сумма квадратов отклонений наблюдаемых значений показателя от сглаживаемых будет минимальной, т.е. необходимо минимизировать :

Необходимым условием экстремума функции двух переменных является равенство нулю частных производных этой функции по переменным а и b:

Отсюда имеем:

(1.1)

Система является линейной относительно переменных а и b. Решая ее, получим:

(1.2)

Функция имеет единственную критическую точку.

Вычислим вторые производные в найденной критической точке и обозначим их А, В, С:

.

Если и , то в точке ( ) функция имеет минимум. Проверим это достаточное условие:

Вычислим :

Здесь соответственно математическое ожидание и дисперсия случайной величины Х. Если случайная величина Х не является постоянной, то , поэтому . Поскольку , то решение (1.2) системы (1.1) является точкой минимума функции .