Архитектура связей

На способ обработки информации решающим образом сказывается наличие или отсутствие в сети петель обратных связей. Если обратные связи между нейронами отсутствуют (т.е. сеть имеет структуру последовательных слоев, где каждый нейрон получает информацию только с предыдущих слоев), обработка информации в сети однонаправленна. Входной сигнал обрабатывается последовательностью слоев и ответ гарантированно получается через число тактов равное числу слоев.

Наличие же обратных связей может сделать динамику нейросети (называемой в этом случае рекуррентной) непредсказуемой. В принципе, сеть может "зациклиться" и не выдать ответа никогда. Причем, согласно Тьюрингу, не существует алгоритма, позволяющего для произвольной сети определить придут ли когда-либо ее элементы в состояние равновесия (т.н. проблема останова).

Вообще говоря, то, что нейроны в рекуррентных сетях по многу раз принимают участие в обработке информации позволяет таким сетям производить более разнообразную и глубокую обработку информации. Но в этом случае следует принимать специальные меры к тому, чтобы сеть не зацикливалась (например, использовать симметричные связи, как в сети Хопфилда, или принудительно ограничивать число итераций, как это делается в эмуляторе MultiNeuron группы НейроКомп).

Таблица 6. Сравнение архитектур связей нейросетей

Классификация по типу связей и типу обучения (Encoding-Decoding)

Ограничившись лишь двумя описанными выше факторами, разделяющими сети по типу обучения (программирования) и функционирования, получим следующую полезную классификацию базовых нейро-архитектур, впервые предложенную, по-видимому, Бартом Коско (Таблица 7).

Таблица 7. Классификация нейросетей

В этой таблице различные архитектуры сетей, которые встретятся нам далее в этой книге, распределены по ячейкам в зависимости от способа обработки ими информации и способа их обучения. В скобках указаны основные типы задач, обычно решаемых данным классом нейросетей.

В следующих главах, после более близкого знакомства с перечисленными выше основными нейро-архитектурами, мы рассмотрим конкретные примеры задач из области финансов и бизнеса, интересные с практической точки зрения.

А.Н.Горбань. Обучение нейронных сетей. М: СП Параграф, 1990.

А.Н.Горбань, Д.А.Россиев. Нейронные сети на персональном компьютере. Новосбирск. Наука, Сибирская издательская фирма РАН, 1996.

Ф.В. Широков (1998). "Нейросети на шине VME". Краткая история нейроинформатики. TANA ltd.,

Anderson, J. A. and Rosenfeld, E. Neurocomputing: Foundations of Research. The MIT Press, 1988.

Anderson, J. A., Pellionisz, A. and Rosenfeld, E. Neurocomputing 2: Directions for Research. The MIT Press, 1990.

Beltratti A., Margarita S., Terna P. Neural Networks for Economic and Financial Modeling. ITCP, 1995.

Bishop C.M. Neural Networks and Pattern Recognition. Oxford Press, 1995.

Haykin, S. Neural Networks, a Comprehensive Foundation. Macmillan, 1994.

Hecht-Nielsen, R. Neurocomputing. Addison-Wesley,1990.

Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities", Proc. Natl. Acad. Sci., 79, 2554-2558.

Hopfield, J.J. (1984). "Neurons with graded response have collective computational properties like those of two-state neurons", Proc. Natl. Acad. Sci., 81, 3088-3092.

McCulloch, W.S., Pitts, W. (1943). "A logical calculus of the ideas immanent in nervous activity", Bulletin of Math. Bio., 5, 115-133.

Maren, A., Harston, C. and Pap, R. Handbook of Neural Computing Applications. Academic Press, 1990

Mead, C (1989). Analog VLSI and neural systems. Addison Wesley.

Minsky, M. and Papert, S. (1969). Perceptrons. MIT Press, Cambridge MA.

М. Muller, B. and Reinhardt, J. Neural Networks, An Introduction. Springer-Verlag. 1990.Rosenblatt, F. (1969). Principles of Neurodynamics. Spartan Books, Washington DC, 1961.

Murray A.F. Applications of Neural Nets. Kluwer Academic Publishers, 1995.

Pao, Y. H. Adaptive Pattern Recognition and Neural Networks. Addison-Wesley, 1989.

Rumelhart, D.E., Hinton, G.E., and Wiliams, R.J. (1986). "Learning internal representations by error propagation", in: McClelland, J. L. and Rumelhart, D. E. (Eds.). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1, 318-362. MIT Press, Cambridge MA.

Обучение с учителем: Распознавание образов

Персептроны. Прототипы задач: аппроксимация многомерных функций, классификация образов. Возможности персептронов. Обучение с обратным распространением ошибки. Эффект обобщения и переобучение. Оптимизация размеров сети: разрежение связей и конструктивные алгоритмы.

& Английской грамматикой в объеме Basic English первым овладел Proteus orator mirabilis, тогда как E.coli eloquentissima даже в 21 000 поколении делал, увы, грамматические ошибки.
С.Лем, Эрунтика