Сходимость алгоритмов обучения

Сходимость алгоритмов обучения зависит от параметров разделимости множеств распознаваемых объектов. Идеальное обучение возможно лишь в том случае, если множества распознаваемых объектов разделимы на множестве функций, реализуемых обучаемой системой. Кроме того, решения задачи обучения могут не обладать свойством однозначности.

Процесс обучения может быть представлен в следующем виде:

.

В этом случае алгоритм сходится, если выполняются следующие условия: , , .

Коэффициент скорости обучения влияет на устойчивость процесса обучения. На рис.21.1 приведены три графика изменения невязки в процессе обучения для трех значений этого коэффициента.

Рис.21.1. Пример влияния коэффициента скорости обучения на процесс обучения

Наиболее близким к оптимальному значению, судя по полученным графикам, следует считать , так как на графике для видно несколько кратковременных срывов процесса обучения, а график для соответствует замедленному уменьшению невязки.