Топологические свойства однослойных, двухслойных и трехслойных НС. Теорема Минского

Количество слоев НС определяет ее возможности по распознаванию изображений. Если рассматривать в качестве входного вектора НС координаты некоторой точки плоскости, то каждый нейрон однослойной сети может определить факт принадлежности точки определенной полуплоскости.

Будем считать, что (x,y) – координаты точки плоскости и одновременно входные сигналы нейрона. Соответствующая схема нейрона представлена на рис.14.1.

Рис.14.1. Нейрон и соответствующая разделительная линия двух полуплоскостей

Сигмоидальная сумма определяется по следующей формуле:

.

Соответствующее каноническое уравнение прямой, являющейся границей двух полуплоскостей, имеет вид:

.

В одной полуплоскости сигмоидальная сумма s>0, а в другой s<0, что отображено на рис.14.1.

Известно несколько теорем об ограниченности функциональных возможностей НС. Одной из таких теорем является теорема Минского.

Теорема Минского 1: Однослойный персептрон не может воспроизвести функцию «исключающее или».

Рассмотрим доказательство теоремы, построенное на геометрической интерпретации входных сигналов персептрона и логической функции. Персептрон должен иметь два входа, что соответствует двум аргументам функции «исключающее ИЛИ». Таблица истинности этой функции показана на рис.14.2.

Рис.14.2. Множества, которые соответствуют функции “исключающее ИЛИ”

Будем считать, что x, y – координаты точек плоскости, имена которых указаны в правом столбике таблицы истинности. Точки Т1 и Т4 должны принадлежать множеству, которое соответствует значениям функции z=1, а точки Т2 и Т3 – множеству z=0. Один из вариантов конфигурации таких множеств приведен на рис14.2.

На вход персептрона подаются координаты (х,у), которые умножаются на весовые коэффициенты w1 и w2, а затем складываются со смещением w0:

.

Полученная синаптическая сумма преобразуется активационной функцией в выходной сигнал . Выше было показано, что персептрон осуществляет линейное разделение точек плоскости, однако, как видно из рисунка, пары точек {Т1,Т4} и {Т2,Т3} невозможно разделить прямой. Таким образом, персептрон не способен воспроизвести функцию «исключающее или».

Двухслойная НС может решить более сложные задачи, комбинируя во втором слое нейронов выходные сигналы нейронов первого слоя. Для задачи идентификации положения точки этот тезис можно интерпретировать следующим образом: выходной сигнал нейрона второго слоя определяет факт принадлежности точки выпуклого многоугольника, граничные линейные участки которого определяются нейронами первого слоя. Например, для разделения множеств W₁ и W₂, показанных на рис.14.3, необходима двухслойная НС, первый слой которой должен состоять из трех нейронов, а второй - из одного.

Рис.14.3. Области классификации точек плоскости и соответствующая двухслойная нейронная сеть, идентифицирующая точки плоскости

Весовые коэффициенты первого слоя рассчитываются на основе геометрических представлений и следующих аналитических соотношений:

, .

Из приведенных соотношений видно, что матрица весовых коэффициентов W1 и вектор смещений V1 могут быть получены в результате трансформации системы уравнений для прямых, проходящих через заданные точки плоскости. Важным моментом является переход от системы уравнений к системе неравенств, который осуществляется для каждого равенства так, чтобы точки, принадлежащие выпуклому многоугольнику, обеспечивали компонентам функции Q(X,Y) одинаковые знаки, для определенности - положительные. Из аналитической геометрии известно, что если прямая задается уравнением: aX+bY+c=0, то вектор (a,b) направлен в сторону положительной полуплоскости, образуемой этой прямой. Таким образом, если вектор (a,b) направлен во внешнюю сторону многоугольника, то для получения требуемого неравенства необходимо изменить знаки коэффициентов: -aX-bY-c>0, в противном случае изменения знаков не требуется: aX+bY+c>0.

Для примера, приведенного на рис.14.3, весовые коэффициенты нейронов первого слоя определяются следующим образом:

, , , .

Результирующий сигнал преобразуется с помощью активационной функции, приведенной на рис. 14.4. Если классифицируемая точка попадает в положительную полуплоскость, то выходной сигнал . Точку можно считать принадлежащей заданной области, только в том случае, если все выходные сигналы равны 1. Весовые коэффициенты нейрона второго слоя должны быть подобраны так, чтобы выполнялось неравенство: . Например, , .

Рис. 14.4. Ступенчатая активационная функция

Трехслойные НС позволяют распознавать области плоскости, форма которых не ограничена требованием выпуклости, так как она образуется логической комбинацией выпуклых многоугольников. На рис.14.5 представлены примеры таких фигур.

Рис.14.5. Распознаваемые области

Точки A, B и D лежат на одной прямой и это позволяет ограничить число нейронов в первом слое до пяти. Если бы продолжение прямой CD проходило выше точки А, то НС пришлось бы дополнить шестым нейроном.

Рис.14.6. Пример трехслойной нейронной сети

Первый слой НС определяет множество полуплоскостей, второй слой нейронов формирует выпуклые многоугольники, а третий слой комбинирует многоугольники для образования требуемых фигур, не обладающих свойством выпуклости.