Модель нейрона Хэбба

Связь между двумя клетками усиливается, если обе клетки становятся активны в одни и тот же момент времени. Если j-ая клетка с выходным сигналом связана с i-ой клеткой, имеющей выходной сигнал , связью , то на силу связи влияют значения выходных сигналов , . В соответствии с правилом Хэбба, вес нейронов изменяется пропорционально произведению входного и выходного сигналов.

Рисунок 23 Модель нейрона Хэбба

Нейрон Хэбба может обучаться как с учителем, так и без него. При обучении без учителя в правиле Хэбба подставляется фактическое значение . При обучении с учителем вместо подставляется .

Проблема Хэбба характеризуется те, что в результате его применения веса могут принимать произвольно большие значения, поскольку в каждом цикле обучения происходит суммирование текущего значения и некоторого приращения.

Один из способов стабилизации обучения состоит в учете последнего значения уменьшенного на коэффициент забывания . При этом проблема Хэбба представляется в виде . Значение выбирается из интервала [0,1] и чаще всего составляет некий процент от n. Применение больших значений приводит к тому, что нейрон забывает значительную часть того, чему он научился в прошлом.