Переобучение

Как отмечалось выше, нейронные сети могут служить универсальным средством аппроксимации в том смысле, что при достаточно разветвленной архитектуре они реализуют широкий класс функций. Как часто бывает, достоинство одновременно является и недостатком. Благодаря способности тонко улавливать структуру аппроксимируемой функции сеть достигает очень высокой степени соответствия на обучающем множестве, и в результате плохо делает обобщения при последующей работе с реальными данными. Это явление называется переобучением, или эффектом бабушкиного воспитания. Сеть моделирует не столько саму функцию, сколько присутствующий в обучающем множестве шум. Переобучение присутствует и в таких более простых моделях, как линейная регрессия, но там оно не так выражено, поскольку через обучающие данные нужно провести всего лишь прямую линию. Чем богаче набор моделирующих функций, тем больше риск переобучения.

В следующем разделе рассмотрим некоторые приемы, позволяющие сети избежать чересчур точного следования обучающим примерам. В частности, нужно уметь распознать момент, когда обучение становится излишне точным. Вопросы, касающиеся переобучения и слабой способности к обобщению, связаны с общей проблемой отделения сигнала от шума.