Синхронное обучение Хебба

Теория обучения Хебба основывается на следующем наблюдении: если один нейрон в биологической системе участвует в возбуждении другого нейрона, то связь между ними усиливается.

Такой подход к обучению выглядит достаточно привлекательно, поскольку он основан на поведенческом принципе подкрепления, который наблюдается на нейронном уровне. Нейрофизиологические исследования подтвердили идею Хебба о том, что при совместном возбуждении нейронов синаптические связи между ними могут усиливаться. Однако этот процесс оказался гораздо сложнее предположения Хебба об "усилении влияния". Представленный в этом разделе закон обучения получил название метода обучения Хебба, несмотря на то, что его идея оказалась несколько абстрактной. Такое обучение относится к категории синхронного (coincidence), поскольку значения весов изменяются в ответ на события, происходящие в нейронной сети. Законы обучения, относящиеся к этой категории, описываются своими временными и пространственными свойствами.

Обучение Хебба используется в многочисленных нейросетевых архитектурах. Оно реализуется как в интерактивном, так и в кумулятивном режимах. Эффект усиления связей между нейронами при их взаимном возбуждении можно математически промоделировать с помощью настройки весов связей между ними с учетом знака произведения их выходных значений.

Остановимся на конкретной реализации этого подхода. Предположим, что выход нейрона i связан со входом нейрона j Добавкой к весовому коэффициенту связи между этими нейронами ∆W можно определить коэффициент скорости обучения с, взятый со знаком произведения (o_i*o_j). В табл. 5 приводятся данные о знаке произведения o_i*o_j выходов нейронов i и j в зависимости от знака каждого из множителей. Из первой строки таблицы видно, что если оба выхода нейронов положительны, то и весовая добавка ∆W имеет знак "+". Следовательно, если нейрон i участвует в возбуждении нейрона j, то связь между ними усиливается.

Таблица 5. Зависимость знака произведения от знаков выходных значений нейронов

Вторая и третья строки таблицы соответствуют ситуации, когда знаки выходных значений нейронов различаются. Поскольку знаки отличаются, необходимо уменьшить влияние нейрона i на выход нейрона j. Следовательно, инкремент к весовому коэффициенту связи выбирается с отрицательным знаком. В четвертой строке знаки выходов нейронов i и j снова совпадают, и сила этой связи увеличивается. Такой механизм настройки весов способствует укреплению связей между нейронами, если их выходные сигналы имеют одинаковый знак, и уменьшению этой связи в противном случае.