Понятие о степенях свободы. Анализ дисперсий.

Вернемся к тождеству (1.12), которое связывает общую сумму квадратов с суммой квадратов остатков и суммой квадратов, которая объясняет регрессию:

Каждая сумма квадратов связана с числом, которое называется ее степенью свободы. Это число показывает, сколько независимых элементов информации, которые образовались из элементов , необходимо для подсчета данной суммы квадратов.

В статистике количеством степеней свободы некоторой величины называют разность между количеством различных опытов и количеством констант, установленных в результате этих опытов, независимо один от одного. Отдельное использование этого понятия относится к сумме квадратов.

Рассмотрим, сколько степеней свободы имеет каждая из рассмотренных выше сумм квадратов.

Начнем с общей суммы квадратов (SST). Для образования SST необходимо независимое число, так как из чисел независимы только в силу свойства:

Сумму квадратов, которая объясняет регрессию (SSR), получают, используя только одну независимую единицу информации, которая образуется из , а именно а.

Покажем, что действительно, наклон а можно получить как функцию от .

Отклонение, которое объясняет регрессию можно записать в виде . Тогда

Таким образом, сумму квадратов, которая объясняет простую линейную модель, можно образовать, используя только одну единицу независимой информации, а именно а. Поэтому SSR имеет одну степень свободы. Обратим внимание на то, что степень свободы в данном случае совпадает с количеством независимых переменных, которые входят в уравнение регрессии.

Сумма квадратов ошибок (SSE) имеет степеней свободы. Эта сумма базируется на количестве степеней свободы, которое равняется разности между количеством наблюдений и количеством параметров, которые оцениваются. В случае линейной регрессии оцениваются два параметра a и b. Если объем выборки n, то для SSE имеем степеней свободы.

Средним квадратом называется сумма квадратов разделенная на соответствующую ей степень свободы.

Таким образом, средним квадратом ошибок MSE называется сумма квадратов ошибок разделенная на соответствующую ей степень свободы, которая в случае простой линейной регрессии равна . Следовательно,

(1.20)

Средний квадрат, который объясняет регрессию, обозначается MSR и определяется аналогично. В случае простой линейной регрессии

(1.21)

Для общей суммы квадратов средний квадрат не рассчитывается.