Алгоритм дискретизации

1. Выбирается значение параметра , управляющего числом кластеров активности нейрона скрытого слоя. Пусть - активность этого нейрона при предъявлении сети первого вектора обучающего набора. Положим число кластеров , положение кластера .
2. Для всех векторов обучающего набора
• определяется активность нейрона скрытого слоя
• если существует индекс такой что

и

то иначе

1. Заменить на среднее значение активаций нейрона, объединенных в один и тот же кластер: .
2. Проверить точность классификации объектов сетью при замене истинных значений активации нейрона скрытого слоя на .
3. Если точность классификации оказалась ниже заданного значения, то уменьшить значение и вернуться к шагу 1.

Рассмотрим приведенный в (Lu, Setiono and Liu, 1995) пример, в котором прореженная сеть содержала три нейрона скрытого слоя, дискретизация активности которых была проведена при значении параметра . Ее результаты отражены в таблице 9.1.

В этой работе решалась задача разбиения объектов на два класса. На ее примере мы и рассмотрим последовательность извлечения правил. После дискретизации значений активности нейронов скрытого слоя, передача их воздействий выходным классифицирующим нейронам описывалась параметрами, приведенными в таблице 9.2.

Исходя из значений, приведенных в этой таблице, после замены значений выходных нейронов ближайшими к ним нулями или единицами, легко получить следующие правила, связывающие активности нейронов скрытого слоя с активностями классифицирующих нейронов

• правило 1если h₂=0,h₃=-1,то o₁=1, o₂=0 (объект класса А)
• правило 2если h₁=-1,h₂=1,h₃=-1,то o₁=1, o₂=0 (объект класса А)
• правило 3если h₁=-1,h₂=0,h₃=0.24,то o₁=1, o₂=0 (объект класса А)
• правило 4в остальных случаях o₁=1, o₂=0 (объект класса В)

Эти правила являются вспомогательными, поскольку нам необходимо связать значения состояний классифицирующих выходных нейронов со входами нейронной сети. Структура данной сети после прореживания связей и нейронов изображена на следующем рисунке.

Рис. 9.2. Двухслойная сеть после прореживания связей и входных нейронов. Положительные связи выделены.

Связь между активностями входных бинарных нейронов и нейронов скрытого слоя для данной сети определяется следующими правилами:

Для первого нейрона скрытого слоя:

Для второго нейрона скрытого слоя:

Для третьего нейрона скрытого слоя:

Комбинируя эти связи с правилами, связывающими активности нейронов скрытого слоя с ак-тивностями выходных нейронов, получим окончательные классифицирующие правила.

Приведенные выше правила определяют принадлежность объекта первому классу (А). Некото-рые из них могут оказаться нереализуемыми, если учесть, что состояния бинарных нейронов кодируют соответствующие непрерывные величины с помощью принципа термометра.

Количество правил, полученных в данном случае, невелико. Однако, иногда даже после проце-дуры прореживания некоторые нейроны скрытого слоя могут иметь слишком много связей с входными нейронами. В этом случае извлечение правил становится нетривиальным, а если оно и осуществлено, то полученные правила не так просто понять. Для выхода из этой ситуации для каждого из "проблемных" нейронов скрытого слоя можно использовать вспомогательные двух-слойные нейронные сети. Во вспомогательной сети количество выходных нейронов равно чис-лу дискретных значений соответствующего "проблемного" нейрона скрытого слоя, а входными нейронами являются те, которые в исходной прореженной сети связаны с данным нейроном скрытого слоя.

Рис. 9.3. . Третий нейрон скрытого слоя связан с максимальным числом входов. Число дискретных значений его активности равно 3. Для облегчения процедуры выделения классифицирующих правил этот нейрон может быть заменен вспомогательной сетью с тремя выходными нейронами, кодирующими дискретные значения активности.

Обучающие примеры для вспомогательной сети группируются согласно их дискретизованным значениям активации "проблемного" нейрона. Для дискретных значений всем обучающим примерам, соответствующим уровню активации , ставится в соответствие -мерный целевой вектор, состоящий из нулей и одной единицы в -й позиции. Вспомогательная сеть содержит свой слой скрытых нейронов. Она обучается и прореживается тем же способом, что и основная нейронная сеть. Метод извлечения правил применяется к каждой вспомогатель-ной сети, для того чтобы связать значения входов с дискретными значениями активации про-блемных нейронов скрытого слоя оригинальной сети. Подобный процесс осуществляется ре-курсивно для всех скрытых нейронов с большим числом входов до тех пор пока это число не станет достаточно малым или же новая вспомогательная сеть уже не сможет быть далее упро-щена.