Однослойные и многослойные нейронные сети

Простейшая сеть состоит из группы нейронов, образующих слой, как показано в правой части рис. 10.6. Вершины – круги слева служат только для распределения входных сигналов. Нейроны на схеме обозначены квадратами. Каждый элемент из множества входов Х отдельным весом соединен с каждым нейроном. А каждый нейрон выдает взвешенную сумму входов. В целях общности показаны все соединения. В конкретной сети некоторые соединения могут отсутствовать. Могут иметь место также соединения между выходами и входами нейронов в слое. Веса будем считать элементами матрицы W размера m х n, где m – число входов, n – число нейронов. Например, w₂₃ – это вес связи, соединяющей второй вход с третьим нейроном. Таким образом, вычисление выходного вектора N,компонентами которого являются выходы OUT нейронов, сводится к матричному умножению , где N и X – векторы – строки.

Рис. 10.6 Однослойная нейронная сеть

Многослойные сети образуются каскадами слоев. Выход одного слоя является входом для последующего слоя. Подобная сеть показана на рис. 10.7.

Многослойные нейронные сети обладают большими вычислительными возможностями, чем однослойные сети, но только в том случае, если активационная функция между слоями нелинейная. Вычисление выхода слоя заключается в умножении входного вектора на первую весовую матрицу с последующим умножением (если отсутствует нелинейная активационная функция) результирующего вектора на вторую весовую матрицу: = . Таким образом, двухслойная линейная сеть эквивалентна однослойной сети с весовой матрицей, равной произведению двух весовых матриц. Следовательно, любая многослойная линейная сеть может быть заменена эквивалентной однослойной сетью. Однослойные сети весьма ограничены по своим вычислительным возможностям. Для расширения возможностей сетей по сравнению с однослойной сетью необходима нелинейная активационная функция.

Рис. 10.7 Двухслойная нейронная сеть

До сих пор рассматривались сети прямого распространения, у которых нет обратных связей, т.е. соединений, идущих от выходов некоторого слоя к входам этого же слоя или предшествующих слоев. Сети более общего вида, имеющие такие соединения, называют сетями с обратными связями. У сетей без обратной связи нет памяти. Их выход полностью определяется текущими входами и значениями весов. В некоторых конфигурациях сетей с обратными связями предыдущие значения выходов возвращаются на входы. Выход, следовательно, определяется как текущим входом, так и предыдущими выходами, поэтому сети с обратными связями могут обладать свойствами, сходными с кратковременной человеческой памятью, сетевые выходы частично зависят от предыдущих входов.