Минимальный базис

Состояния ложной памяти могут иметь и другие, не менее интересные формы. Рассмотрим, например, вариант модели Хопфилда, в котором состояния нейронов принимают значения 0 или 1. Подобная модель легко переформулируется в оригинальную, для которой состояниями являются спиновые переменные , путем переопределения порогов. Мы, однако, будем считать, что в нашей сети пороги всех нейронов отрицательны и бесконечно малы. Иначе говоря, динамика состояния нейрона определяется соотношениями

Рассмотрим следующий набор векторов:

= ( 0, 0, 1, 1, 1, 0, 1), = ( 0, 1, 0, 1, 0, 0, 1), = ( 1, 0, 0,1, 0, 1, 1),

который используем для построения Хеббовской матрицы связей

сети Хопфилда. Если найти все аттракторы этой сети (что нетрудно сделать в виду небольшой размерности пространства его состояний 2⁷=128 ), то обнаружится, что помимо векторов, , стационарными являются состояния, описываемые векторами

= ( 1, 0, 0, 0, 0, 1, 0), = ( 0,1, 0, 0, 0, 0, 0), = ( 0, 0, 1, 0, 1, 0, 0), = ( 0, 0, 0, 1, 0, 0, 1).

Векторы сами по себе замечательны. Их единичные компоненты помечают кооперированные нейроны, то есть те из них, которые одновременно активны или одновременно пассивны во всех запоминаемых векторах . Если считать, что компоненты векторов кодируют некоторые признаки, то кооперированность некоторых нейронов означает, что некоторые признаки избыточны и могут быть заменены одним. Например, если в нашем примере первый нейрон кодирует такое свойство, как пол, а шестой - наличие бороды, то практически со стопроцентной вероятностью они могут быть заменены одним нейроном, о чем сигнализирует вектор .

Векторы , кроме того, образуют так называемый минимальный базис. А именно, это минимальное число векторов, с помощью линейной комбинации которых могут быть представлены все запоминаемые векторы

Кроме того, все стационарные состояния сети, в Хеббовские связи которых записаны векторы , также обязательно должны разлагаться по векторам минимального базиса. Это означает, что если некоторые нейроны кооперированы в векторах , то они должны кооперироваться и во всех аттракторах сети.

Используя векторы минимального базиса можно получить новый вид недиагональных элементов Хеббовской матрицы связей

,

где

.

С помощью этого представления можно получить необходимые условия стационарности состояний сети. В частности, условие того, что сеть будет генерировать в качестве аттракторов векторы минимального базиса, легко формулируется в терминах матричных элементов . Именно, му вектору базиса будет соответствовать стационарное состояние тогда и только тогда, когда все недиагональные элементы й строки матрицы будут строго отрицательными.

Для рассмотренного нами выше примера эта матрица имеет вид

,

из которого с очевидностью следует стационарность всех векторов минимального базиса.