Обобщающие правила обучения

Ранее были описаны различные способы приблизить функцию, которую реализует реальная сеть, к неизвестной функции, которую, как предполагается, можно определить по имеющемуся множеству примеров – обучающему множеству. Как в задачах классификации, так и в задачах прогноза, цель при построении сети должна состоять не в том, чтобы запомнить обучающую информацию, а в том, чтобы на основании изучения прошлого сделать определенные обобщения, которые можно будет затем применить к новым образцам. В конечном счете, эффективность сети определяется тем, как она работает со всей совокупностью возможных примеров (пространством возможных ситуаций). Так как все это множество целиком, как правило, недоступно, возникает практическая задача максимизации качества работы сети на всем множестве исходных данных, и для этого вовсе не нужно требовать от сети высокой степени соответствия на каком-то «зашумленном» обучающем множестве.

Шум

В каждой реальной задаче присутствует шум, и необходимо уметь справляться с ним. В особенности это относится к задачам обработки временных рядов, в которых переменные получены в результате измерений в некоторой физической системе, причем в самой системе и/или в механизме измерений шум присутствует естественным образом. В финансовых приложениях данные зашумлены особенно сильно. Например, совершение сделок может регистрироваться в базе данных с запозданием, причем в разных случаях – с разным. Пропуск значений или неполную информацию также иногда рассматривают как шум: в таких случаях берется среднее или наилучшее значение, и это, конечно, приводит к зашумлению базы данных. Отрицательно сказывается на обучении неправильное определение класса объекта в задачах распознавания — это ухудшает способность системы к обобщению при работе с новыми (т.е. не входившими в число образцов) объектами.