Линейная разделимость и персептронная представляемость

Каждый нейрон персептрона является формальным пороговым элементом, принимающим единичные значения в случае, если суммарный взвешенный вход больше некоторого порогового значения:

Таким образом, при заданных значениях весов и порогов, нейрон имеет определенное значение выходной активности для каждого возможного вектора входов. Множество входных векторов, при которых нейрон активен (y=1), отделено от множества векторов, на которых нейрон пассивен (y=0) гиперплоскостью, уравнение которой имеет вид:

Следовательно, нейрон способен отделить (иметь различный выход) только такие два множества векторов входов, для которых имеется гиперплоскость, отсекающая одно множество от другого. Такие множества называют линейно разделимыми. Проиллюстрируем это понятие на примере.

Пусть имеется нейрон, для которого входной вектор содержит только две булевые компоненты , определяющие плоскость. На данной плоскости возможные значения векторов отвечают вершинам единичного квадрата. В каждой вершине определено требуемое значение выхода нейрона 1 (на рис. 10.9 белая точка) или 0 (черная точка). Требуется определить, существует ли такой набор весов и порогов нейрона, при котором этот нейрон сможет отделить точки разного цвета?

На рис 10.9 представлена одна из ситуаций, когда этого сделать нельзя вследствие линейной неразделимости множеств белых и черных точек.

Рис. 10.9. Белые точки не могут быть отделены одной прямой от черных.

Требуемые выходы нейрона для этого рисунка определяются таблицей, которая задает логическую функцию “исключающее или”:

Линейная неразделимость множеств аргументов, отвечающих различным значениям функции означает, что функция “исключающее или”, широко использующаяся в логических устройствах, не может быть представлена формальным нейроном.

Итак, однослойный персептрон крайне ограничен в своих возможностях точно представить наперед заданную логическую функцию. Позднее, в начале 70-х годов, это ограничение было преодолено путем введения нескольких слоев нейронов, однако критическое отношение к классическому персептрону сильно заморозило общий круг интереса и научных исследований в области искусственных нейронных сетей.