Модели ассоциативной памяти. Сети Хопфилда

В нейронных сетях с обратной связью допускается передача выходных сигналов нейронов на входные нейроны сети. Это приводит к переходным процессам в сети, после которого сеть может устанавливаться в некоторое устойчивое состояние. Однако, возможна ситуация, при которой в сети никогда не наступит ситуация равновесия. В этом случае сеть является неустойчивой.

Будем рассматривать сети с обратными связями, устойчивость которых при определенных условиях может быть доказано. К таким сетям относится сеть Хопфилда.

Рисунок 31 Модель ассоциативной памяти

, где - синоптическая карта сети.

Сеть Хопфилда рассматривается как примитивная модель ассоциативной памяти, позволяющая по искаженному входному образу извлечь ближайший к нему эталонный. Для этого сеть предварительно должна быть обучена на выборке. Обучение осуществляется без учителя путем предъявления сети серии входных образов . Предъявляемые образы запоминаются в синоптической карте, которая формируется следующим образом.

Синоптические веса формируются путем вычисления корреляций между состояниями отдельных нейронов. Такое задание весов позволяет сети запомнить входные образы и обеспечить в дальнейшем возможность извлечения неполных или искаженных данных.

В процессе функционирования нейронной сети сеть активируется некоторым входным образом, а затем сети представляется возможность опуститься в ближайший энергетический минимум. Алгоритм функционирования сети Хопфилда можно представить состоящим из следующих шагов.

1. Формирование синоптической карты сети путем ее обучения на серии входных образов;

2. Начальная активация сети входным образом C;

3. Итерационное вычисление выходного сигнала сети, пока сеть не достигнет установившегося состояния;

Пример:

- исходный эталон

Емкость сети - образов.

Сеть Хопфилда является ассоциативной сетью, в которой входные образы ассоциируются сами с собой и не могут быть ассоциированы с другими образами.

Рассмотрим нейронную сеть, состоящую из двух слоев нейронов, называемой двунаправленной ассоциативной памятью.

Рисунок 32 Двунаправленная ассоциативная память

, где - входные образы, .

В данной сети в качестве функции активации нейронов используется ступенчатая пороговая функция. В ?? обучения сети предъявляются примеры , где и формируется синоптическая карта. В соответствии со структурой сети, прямым связям (от слоя к ) соответствует синоптическая карта W, а обратным - .

Функционирование сети осуществляется следующим образом:

1. Активация слоя сети входным образом С;

2. Вычисление сигналов на выходах нейронов слоя согласно выражению: или ;

3. Подача на входы нейронов сигналов с выходов по обратным связям и вычисление новых состояний нейронов слоя

4. Повторение шагов 2,3 пока сеть не достигнет стабильного состояния;

Двунаправленная ассоциативная память обладает способностью к исправлению и обобщению. Если искаженный и незавершенный образ подается на вход сети, то сеть способна выдать запомненный ранее выходной образ. Двунаправленная ассоциативная память имеет ограничение на количество образов.

Когнитивные карты

Когнитивная карта – это ориентированный граф, узлы которого представляют собой некоторые объекты (концепты) а дуги – связи между ними, характеризующие причинно-следственные отношения.

Связи могут быть:

Положительные – существует в случае, если увеличение (уменьшение) количественных характеристик одного концепта приводит к увеличению (уменьшению) другого концепта.

Отрицательные – обратная зависимость количественных характеристик.

Рисунок 33 Когнитивные карты

Элементы матрицы определяют связи от i-ого элемента к j-тому элементу. Положительные связи кодируются +1, отрицательные -1, отсутствие связей – 0.

, где - карта состояний.

Когнитивные карты поструктура напоминают нейронные сети. Если рассматривать концепты как нейроны, а коэффициент связей между ними как синоптические веса, то можно использовать их как нейронные сети, использующиеся для построения экспертных систем, предназначенных для прогнозирования ситуаций по имеющимся данным. В таких ситуациях используются экстраполирующие сети, являющиеся разновидностью модели ассоциативной памяти. Рассмотрим особенности функционирования подобной сети.

Пусть на вход сети подается образ у которого k компонентов известны, а остальные необходимо определить. Сеть реконструирует недостающие компоненты по следующему алгоритму:

1. Инициализация нейронов сети случайным образом:

2. Вычисление новых состояний нейронов:

3. Выполнение шага 2 до тех пор, пока сеть не достигнет устойчивого состояния;

19.11.2011