Сравнительная оценка производительности нейронных сетей

В идеальном варианте нейронную сеть нужно обучать и применять в моделировании нелинейных систем с постоянной (во времени) структурой и при наличии достаточного объема представительных данных. В этих случаях нейронные сети имеют преимущество перед более простыми методами: экспоненциальным, ARIMA и множественной регрессии.

К сожалению, на практике такие ситуации встречаются нечасто, и, даже если так случайно получилось, требования к надежности решения сводят на нет преимущества модели.

В этом разделе мы исследуем характеристики качества работы нейронных сетей в сравнении с другими методами на примере 18 временных рядов, соответствующих различным показателям экономики Великобритании. Тестовые данные состоят из 18 ежемесячных и 10 ежеквартальных показателей. Все они взяты из базы данных Министерства статистики, имеющейся на базовом компьютере Манчестерского университета.

Предварительная обработка

После загрузки данных в электронную таблицу они были исследованы на присутствие сезонных колебаний (с периодами 1 квартал и 1 год). Там, где сезонные колебания присутствовали, соответствующий показатель брался в качестве одного из входов сети. Входы были линейно масштабированы так, чтобы их значения находились между 0 и 1. Из данных 70% использовалось в качестве обучающего множества, а оставшиеся 30% – для оценки.

Обучение

В отсутствие априорной информации о структуре обучение начиналось с наиболее простой модели: с одним входным, одним скрытым и одним выходным слоем. Далее модель расширялась вплоть до 6-входовой модели с двумя скрытыми слоями, четырьмя узлами в первом слое и двумя во втором. Во всех случаях вполне хватало одного выходного узла.

Обучение заняло 1000 эпох, причем коэффициенты, определяющие величину шага, на первом уровне полагались равными единице, деленной на число входных узлов, а на втором уровне – вдвое меньше. Использовалась логистическая функция обучения, и результат был лучше, чем для линейной функции, гиперболического тангенса и гауссовой функции.

Таблица 2.3

Перечень переменных

Результаты работы

Значения, полученные на выходе, преобразовывались обратно в исходный масштаб и анализировались на предмет среднего значения, средней квадратичной ошибки, абсолютной средней ошибки, средней относительной (процентной) ошибки, и показателей Theils m.

Прогнозы, которые выдавала сеть, сравнивались с результатами расчетов по другим моделям обработки временных рядов из пакета SPSS РС+. В их числе были различные методы авторегрессии, в том числе методы Холта-Уинтерса и Бокса-Дженкинса. В табл. 2.4 приведены результаты сравнения в терминах Theils m.

Таблица 2.4

Результаты сравнения

DM – тренд убран, мультипликативная сезонность

DN – тренд убран, сезонность не учитывается

Holt – Холт – Джекинс, линейная, сезонность не учитывается

LN – линейный тренд, сезонность не учитывается

NM – мультипликативная сезонность, тренд не учитывается

Результаты анализа столь представительного набора рядов различных экономических показателей оказались весьма обнадеживающими: из 10 ежеквартальных показателей в трех случаях нейронные сети продемонстрировали примерно такую же эффективность, как и модель Бокса-Дженкинса, в шести случаях – лучшую, и только в одном – для доходов частных лиц – заметно худшую.

Для семи из восьми рядов ежемесячных показателей сеть дала значительно лучшие результаты, чем модель Бокса-Дженкинса ARIMA, и в одном случае ошибки были одного порядка. Суммируя результаты по всем 18 рядам, можно сказать, что стандартная модель нейронной сети очень хорошо справилась с анализом экономических показателей, имеющих различную периодичность, характер сезонных изменений и выражение (натурное либо денежное). Результаты работы модели существенно лучше, чем у авторегрессионных моделей и модели Бокса-Дженкинса. Этот эксперимент показал, что значительные затраты времени на построение и обучение нейронной сети вполне себя оправдывают.

Нейронно-сетевые модели можно совершенствовать еще и еще, но даже при относительно простом подходе получается довольно устойчивая архитектура. При обработке реальных данных, с шумом и меняющейся структурой, всегда приходится заботиться о том, чтобы не происходило переобучение, и универсальные (а не сделанные специально для данного ряда) модели дают в этом смысле определенную защиту.