Рекуррентный метод наименьших квадратов

Прежде чем рассмотреть адаптивные многофакторные модели, приведем схемы рекуррентного метода наименьших квадратов (РМНК), лежащих в основе построения этих моделей. Благодаря совместному использованию рекуррентной схемы оценивания и процедуры экспоненциального сглаживания удается построить прогнозные модели, в которых, по сути, реализованы основные принципы адаптации.

Изложим сначала одношаговую схему РМНК. Для этого введем следующие обозначения:

n – объем выборочной совокупности;

– число независимых переменных моделей;

– -явектор-строка независимых переменных;

–( n x (m+1))-матрица из независимых переменных.

Чтобы понять, как формируется матрица системы нормальных уравнений, запишем выражение для произведения вектора-столбца на вектор-строку

.

Используя данное представление, можно записать схему вычисления матрицы системы нормальных уравнений следующим образом:

.

Такая схема формирования матрицы делает понятным запись

.

Аналогично можно записать

,

где – вектор-столбец из n зависимых переменных.

Рассмотрим линейную регрессионную модель

, (5.33)

где – вектор-столбец коэффициентов модели,

– вектор-столбец ненаблюдаемых случайных составляющих.

Предположим, что уже получены оценки ее коэффициентов по данным выборочной совокупности из ( ) наблюдения. Требуется в ситуации, когда в выборочную совокупность добавлено новое наблюдение , пересчитать оценки коэффициентов регрессии, используя для этого ранее полученные оценки . Такие ситуации возникают при обработке очень больших массивов данных, когда их хранение вызывает определенные затруднения, а также, как уже отмечалось, в тех случаях, когда по смыслу решаемой задачи требуется последовательная обработка вновь поступающих наблюдений.

В рассматриваемой ситуации формулу для вычисления вектора оценок коэффициентов регрессионной модели можно записать следующим образом:

. (5.34)

Для удобства обозначим

.

Далее будем использовать формулу Шермана – Моррисона для рекуррентного обращения матриц

. (5.35)

Используя формулу (5.35), выражение (5.34) можно переписать в виде

Перегруппируем члены полученного выражения

Объединив второй и третий члены и вынеся общие множители и , а также, выполнив умножение в последнем члене выражения, получаем

Окончательно, выполнив приведение к общему знаменателю в квадратных скобках, получаем

. (5.36)

Полученная формула позволяет осуществлять пересчет оценок рекуррентно по мере появления новых наблюдений. С ее помощью реализуются основные идеи построения адаптивных многофакторных регрессионных моделей.

Перейдем к изложению схемы многошагового РМНК. Применение многошаговой процедуры возникает в тех ситуациях, когда выборочная совокупность пополняется одновременно несколькими наблюдениями. В принципе эти наблюдения можно обработать последовательно с помощью рассмотренной выше одношагового РМНК. Однако не всегда такой подход удобен. Кроме того, при настройке параметров адаптивной модели в некоторых случаях возникает необходимость учитывать информацию, полученную в результате нескольких одновременно проведенных измерений. Поэтому имеет смысл обратиться к многошаговой процедуре.

Введем дополнительные обозначения:

– матрица из k последних строк независимых переменных выборочной совокупности;

– вектор-столбец, компонентами которого являются k последних наблюдений зависимой переменной;

– (k x k)-единичная матрица.

Используя прием, аналогичный рассмотренному выше, запишем формулу для расчета вектора оценок коэффициентов регрессионной модели следующим образом:

. (5.37)

Для удобства обозначим

.

Используя формулу Шермана – Моррисона – Вутбери

, (5.38)

перепишем выражение (5.37), заменив в нем обратную матрицу на (5.38), и проведем ряд очевидных преобразований полученного выражения

Результат перемножения в третьем члене взаимоуничтожается со вторым членом, а вынесение общего множителя из четвертого и пятого членов приводит к рекуррентной форме

. (5.39)

С помощью полученной формулы осуществляется рекуррентный пересчет оценок в тех случаях, когда новые наблюдения появляются не по одному, а целыми группами сразу.