Стохастические алгоритмы обучения

Рисунок 24 Целевая функция

А – локальный минимум, B – глобальный минимум.

Причиной использования стохастических алгоритмов обучения нейронных сетей является их способность находить глобальный минимум целевой функции. Суть стохастического подхода в изменении весовых коэффициентов сети случайным образом и сохранении тех изменений, которые ведут к уменьшению заданной целевой функции.

Основным вопросом при построении стохастического алгоритмов является рациональное изменение величины приращений таким образом, чтобы алгоритм мог выбираться из ловушек, образующих локальным минимумом.

В начале обучения нейронных сетей использованием стохастических алгоритмов производится большие случайные коррекции, которые затем постепенно уменьшаются. Для исключения зависания алгоритма в локальных минимумах должны сохраняться не только все изменения синоптической карты, которые ведут к уменьшению целевой функции, но иногда и те, которые ведут к её увеличению. Такое обучения позволяет сети стабилизироваться в точке глобального минимума.

Процесс обучения нейрона будем сравнивать с физическими процессами, происходящими при обжиге металлов. В расплавленно металле атому находятся в беспорядочном движении. При понижении температуры атому стремятся к состоянию энергетического минимума. В процессе обжига энергетическое состояние металла описывается распределением Больцмана.

В соответствии с данной формулой, при высокой температура вероятность всех энергетических состояний одинакова. По мере снижения температуры вероятность высоких энергетических состояний уменьшается по сравнению с нижними.

Введем некоторую искусственную температуру T. Уменьшая её в процессе обучения, будем сохранять состояния сети, связь с уменьшением целевой функции, в соответствии с распределением Больцмана. По мере обучения сети шаги в сторону увеличения целевой функции будем делать всё реже и реже. Одновременно с этим по некоторому правилу будем уменьшать величины случайного шага. В качестве такого приема будем использоваться распределение Гаусса.

В соответствии с таким законом распределения, при увеличении искусственной температуры вероятность выполнения больших шагов увеличиваются, при уменьшении – уменьшается. К важным факторам влияющим на сходимость алгоритма к глобальному минимуму, отнесём скорость уменьшения температуры. Уменьшая её слишком быстро, мы рискуем не достичь глобальный минимум. Охлаждение сети должно быть пропорционально логарифму времени, т.е. температура должна изменяться по следующему закону:

(*)

Нейронная сеть, основанная на принципах стохастического обучения, названной машиной Больцмана и функционирующая соответственно следующему алгоритму:

1. Начальная инициализация синоптической карты сети случайным образом. При этом задать t=1 и задать высокую ;

2. Оптимизация входного слоя сети, вычисление её реакции и значения целевой функции;

3. Вычисление искусственной температуры (*);

4. Генерирование случайных приращений весов, по закону Гаусса и вычисление скорректированной синоптической карты;

5. Активизация от входного слоя сети, вычисление его реакции и нового значения целевой функции ;

a. Если , то сохранить изменения синоптической карты;

b. Если , то генерируем случайные , если , то сохраняем изменение синоптической карты, иначе необходимо отменить изменения;

6. Повторение предыдущих шагов до тех пор, пока значение целевой функции не станет меньше некоторого предела при достаточно низкой исходной температуре;

Для сокращения времени обучения сети введем понятие исключительная теплоёмкость сети. В процессе обжига металлов наблюдается резкие изменения уровня энергии, сопровождающиеся скачкообразным изменением теплоёмкости – свойства, характерного изменения температуры в зависимости от энергии.

В нейросетях происходят аналогичные изменения. При критических температурах небольшое её изменение приводит к резкому изменению целевой функции, т.е. исключительная теплоемкость резко падает. При таких температурах скорость её изменения должна замедляться, чтобы гарантировать не сходимость к глобальному минимуму. В остальном диапазоне Т может быть выбрана высокая скорость изменения температуры, что приводит к сокращению времени обучения.

22.10.2011