Сигмоидальный нейрон

Рисунок 14 Сигмоидальный нейрон

Нейрон сигмоидального типа имеет структуру, подобную модели МаКаллека-Питса с той разницей, что функция активации может быть выражена сигмоидальной, униполярной и биполярной функциями.

- унимодальная функция

- биполярная функция

Рисунок 15 Униполярная функция

Рисунок 16 Биполярная функция

Параметр выбирается пользователем. Его значения влияет на форму функции активации. При функция превращается в ступенчатую функцию, идентичную функции активации персептрона. Чаще всего используется .

Важным свойством сигмоидальной функции является её дифференцируемость:

- униполярная

- биполярная

Рисунок 17 График производной

Сигмоидальный нейрон обучается с учителем по принципу минимизации целевой функции.

Нейрон типа «адалайн»

Адалайн – адаптивный линейный нейрон, со следующей структурной схемой:

Рисунок 18 нейрон типа Адалайн

Алгоритм подбора весов:

Квадратичная ошибка:

Адаптивный подбор весовых коэффициентов осуществляется в процессе минимизации квадратичной ошибки.

Несмотря на нелинейный характер модели, в целевой функции присутствуют только линейные элементы, представляющие собой сумму взвешенных входных сигналов. В связи с выполнением условия непрерывности целевой функции, стало возможно применение алгоритма градиентного обучения. Значения весовых коэффициентов могут утоняться либо дискретным способом: , либо непрерывным:

В практических приложениях нейроны типа «адалайн» всегда используется группами, образуя слои, называемые «мадалайн». Каждый входящий в слой нейрон обучается по правилу адалайн.

Существует три базовых схемы межнейронных соединений:

Рисунок 19 Межнейронные соединения

Сигналы суммируются с учетом порогового значения, установленного раздельно для каждого типа связи. Для схемы OR порог имеет значение (n-1), для AND – (1-n), для мажориторной схемы – нулевое значение.

В связи с используемой функцией активации выходных сигналов y принимает значение +1, когда хотя бы один из входных сигналов имеет значение +1, когда все входные сигналы имеют значение +1, либо когда большинство сигналов имеет значение +1.

1.10.2011