Архитектура нейронных сетей.

Нейронные сети могут быть синхронные и асинхронные.

В синхронных нейронных сетях в каждый момент времени свое состояние меняет лишь один нейрон.

В асинхронных – состояние меняется сразу у целой группы нейронов, как правило, у всего слоя.

Можно выделить две базовые архитектуры – слоистые и полносвязные сети.

Ключевым в слоистых сетях является понятие слоя.

Слой – это один или несколько нейронов, на выходы которых подается один и тот же общий сигнал.

Слоистые нейронные сети – нейронные сети, в которых нейроны разбиты на отдельные группы (слои) так, что обработки информации осуществляется послойно.

В слоистых сетях нейроны i-го слоя получают входные сигналы, преобразуют их и через точки ветвления передают нейронам (i+1) слоя. И так до k-го слоя, который выдает выходные сигналы для интерпретатора и пользователя. Число нейронов в каждом слое не связано с количеством нейронов в других слоях, может быть произвольно.

В рамках одного слоя данные обрабатываются параллельно, а в масштабах всей сети обработка ведется последовательно – от слоя к слою. К слоистым нейронным сетям относятся, например, многослойные персептроны.

Слоистые сети могут быть однослойными и многослойными.

Однослойная сеть – это сеть, состоящая из одного слоя.

Многослойная сеть – это сеть, имеющая несколько слоев.

В многослойной сети первый слой называется входным, последующие – внутренними или скрытыми. Последний слой – выходным. Таким образом, промежуточные слои – это все слои многослойной нейронной сети, кроме входного и выходного.

Входной слой сети реализует связь с входными данными, выходной – с выходными.

Таким образом, нейроны могут быть входными, выходными и скрытыми.

Входной слой организован из входных нейронов, которые получают данные и распространяют их на входы нейронов скрытого слоя сети.

Скрытый нейрон – это нейрон, находящийся в скрытом слое нейронной сети.

Выходные нейроны, из которых организован выходной слой сети, выдает результаты работы нейронной сети.

В полносвязных сетях каждый нейрон передает свои выходные сигналы остальным нейронам, включая самого себя. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети. Все входные сигналы подаются всеми нейронами.

Программное обеспечение, имитирующее работу нейронной сети, называют нейросимулятором или нейропакетом.

Первым примером нейросетевой модели является нейрон Мак-Каллока-Питтса. На вход нейрона подаются биполярные сигналы (равные +1 или -1). Активационная функция – это пороговая зависимость, результат которой вычисляется следующим образом. Если взвешенная сумма входов не меньше нуля, выход нейрона принимается равным 1, в противном случае – -1. В своей работе Мак-Каллок и Питтс показали, как на основе таких нейронов можно построить любую логическую функцию. Следовательно, система из таких нейронов обеспечивает полную вычислительную модель.

На рис. 5 показан пример вычисления логических функций И и ИЛИ с помощью нейронов Мак-Каллока-Питтса. Каждый из этих нейронов имеет три входа, первые два из которых задают аргументы функции х и у, а третий, иногда называемый пороговым (bias), всегда равен 1. Весовые коэффициенты связей для входных нейронов составляют соответственно +1, +1 и - 2. Тогда для любых входных значений х и y нейрон вычисляет значение х+у-2. Если это значение меньше 0, выходным значением нейрона является -1, в противном случае – 1. Из табл. 2 видно, что такой нейрон, по существу, вычисляет значение функции х˄у. Аналогично можно удостовериться в том, что второй нейрон на рис. 5 вычисляет значение логической функции ИЛИ.

Рис. 5. Вычисление логических функций И и ИЛИ с помощью

нейронов Мак-Калока-Питтса

Таблица 2. Модель Мак-Каллока-Питтса для вычисления функции логического И