Обучение нейронных сетей. На этапе обучения происходит вычисление синаптических коэффициентов в процессе решения нейронной сетью задач

На этапе обучения происходит вычисление синаптических коэффициентов в процессе решения нейронной сетью задач, в которых нужный ответ определяется не по правилам, а с помощью примеров, сгруппированных в обучающие множества. Такое множество состоит из ряда примеров с указанным для каждого из них значением выходного параметра, которое было бы желательно получить. Действия, которые при этом происходят, можно назвать контролируемым обучением: «учитель» подает на вход сети вектор исходных данных, а на выходной узел сообщает желаемое значение результата вычислений. Контролируемое обучение нейронной сети можно рассматривать как решение оптимизационной задачи. Ее целью является минимизация функции ошибок, или невязки, Е на данном множестве примеров путем выбора значений весов W. Суть задачи оптимизации станет яснее, если представить себе график невязки, рассматриваемой как функция весов (эта функция определена в многомерном пространстве весов, где каждому весовому коэффициенту соответствует своя размерность). Из-за нелинейностей функций активации полученная поверхность в общем случае будет очень сложной: наряду с плоскими участками на ней будут локальные минимумы, седловые точки, овраги. На рис. 1.11 видно, что даже простая сеть может реализовывать сложный нелинейный процесс.

Рис. 1.11. Поверхность невязки для сети с одним узлом (1 вес и 1 порог) и сигмоидной функцией активации. Были взяты 3 примера со входами 0.6, 0.7, -0.3 и значениями выхода, соответственно, 0.5, 0.25 и 0.3