Р.1.Общие понятия и термины систем автоматического управления

Лекция 6.

Нейрокомпьютеры – ЭВМ ХХ! века

Справочный материал этого раздела носит чисто информативный характер, поскольку позволяет ознакомить читателя с одним из наиболее активно развивающихся сейчас направлений в вычислительной технике - нейрокомпьютеризацией.

В классической теории управления технологическими объектами рассматриваются различные варианты схем систем управления с ЦВМ в контуре. Однако лучше понять принцип построения нейрокомпьютеров можно по несколько отличной от привычной схемы, представленной на рис.6.1.

Рис.6.1.Структурная схема системы управления с ЦВМ в контуре: ЭПД – задатчик программного движения; ИМ – исполнительные механизмы; ЦАП – цифроаналоговый преобразователь; АЦП – аналого – цифровой преобразователь; УЦВМ – управляющая ЦВМ

На рис.6.1 обозначены: - вектор состояния системы; - вектор измеряемых параметров состояния объекта; - вектор вычисленных параметров; - вектор программного входного воздействия; - сигнал ошибки; - управляющее воздействие; - возмущение. Нетрудно заметить, что, применяя к данной схеме известные в теории управления правила преобразования структурных схем, можно получить классическую схему системы управления с ЦВМ в контуре.

Система на рис.6.1 работает следующим образом. Под действием управления объект движется в заданном направлении. Однако случайные, неуправляемые возмущения отклоняют его движение от заданного. Отдельные компоненты вектора состояния измеряются датчиками, квантуются по амплитуде на аналого – цифровых преобразователях (АЦП) т передаются в управляющую ЦВМ, которая, преобразовав измеренную входную информацию по заданному алгоритму, подаёт на узел сравнения вектор вычисленного воздействия ,соответствующего состоянию объекта на момент измерения. Узел сравнения вырабатывает сигнал ошибки и передаёт его исполнительному механизму. Последний вырабатывает такое управление , которое, воздействуя на объект, возвращает его на программную траекторию.

Очевидно, что ЦВМ, включённая в контур рассмотренной системы управления, должна удовлетворять следующих требованиям: осуществлять вычисления с точностью, позволяющей системе нормально выполнять свои функции, и производить обработку входной информации в темпе работы системы. Иначе говоря, управляющая ЦВМ должна выдавать результаты с требуемой точностью и работать в реальном масштабе времени.

Современный уровень развития элементной базы вычислительной техники позволяет выполнять задатчик программного движения и узел в виде программных модулей, размещаемых в памяти то же УЦВМ, что и основной алгоритм обработки входной информации. В этом случае УЦВМ будет вырабатывать непосредственно сигнал ошибки и, очевидно, будет иметь большую вычислительную нагрузку.

Значительное повышение качества работы системы обусловлено применением адаптируемых (интеллектуальных) задатчиков программного движения. Если программные модули УЦВМ оценивают характер влияния окружающей среды на движение объекта, вырабатывают тактику поведения объекта в новых условиях, корректируют программную траекторию, рассчитывают управляющие воздействия под новую программную траекторию, но такая система приобретает элементы интеллекты. Понятно, что вычислительная нагрузка УЦВМ таких систем значительно больше, чем обычных. Удовлетворить требованию работы в реальном времени УЦВМ, построенной по классической фоннеймановской архитектуре, с каждым новым проектом становится всё сложнее. Однопроцессорная архитектура фон Неймана имеет физический предел, определяемый скоростью распространения электрических сигналов по линиям связи структурных модулей ЭВМ. Очевидно, что выход может быть найден в параллельной организации работы УЦВМ, когда данные и алгоритмы распределяются между несколькими, а может быть, и очень многими, процессорами.

В настоящее время специалистами предложено несколько классов вычислительных систем с параллельной организацией работы. Одним из наиболее развиваемых сегодня является класс нейрокомпьютеров.

С момента появления первых реально работающих ЭВМ (со средины 40-х годов прошлого столетия) до сегодняшнего дня принято разделять развитие ЭВМ на пять поколений (в соответствии с используемой для них элементной базой). Сейчас можно говорить о развитии нового, шестого поколения ЭВМ, принципиально отличающегося от предыдущих. Речь идёт не о смене элементной базы, а об изменении принципа и архитектуры, а также области применения новых ЭВМ, в некоторой степени моделирующих работу человеческого мозга.

Основные отличия нейрокомпьютеров от традиционной ЭВМ с архитектурой фон Неймана заключаются в следующем:

- наличие большого числа параллельно работающих элементов – нейронов (от нескольких десятков до 10⁶-10⁸), что обеспечивает колоссальный скачок в быстродействии;

- вместо программирования используют обучение (воспитание): машина учится решать задачи, изменяя параметры нейронов и связи между ними.

Попытки создания ЭВМ, моделирующих работу мозга, предпринимались ещё в 40-х годов ХХ века специалистами по нейрокибернетике. Они стремились разработать самоорганизующиеся системы, способные обучаться интеллектуальному поведению в процессе взаимодействия с окружающим миром, причём компонентами систем обычно являлись модели нервных клеток. Однако зарождавшаяся в это же время вычислительная техника и связанные с нею науки, особенно математическая логика и теория автоматов, оказали сильное влияние на области исследования, связанные с мозгом.

К концу 50-х кодов сформировался логико-символьный подход к моделированию интеллекта. Развитие этого подхода породило такие направления, как эвристическое программирование и машинный интеллект, и способствовало угасанию интереса к нейронным сетям. Неблагоприятным фактором, затормозившим развитие нейросетевой тематики более чем на два десятилетия, явилось опубликование тезиса, выдвинутого авторитетнейшими учёными 60-х годов М. Минским и С. Пейпертом, о невозможности воспроизведения произвольной функции нейронной сетью.

Таким образом, в течение длительного времени основным направлением в развитии искусственного интеллекта являлся логико – символьный подход, реализуемый на обычных компьютерах. Было получено решение многих «интеллектуальных» задач из определённых предметных областей. Однако самое сложное программное обеспечение, способное решать трудные задачи в специализированной области, отказывает, как только проблема выходит за рамки, определённые разработчиками при создании системы.

К концу 70-х годов сложились условия для возрождения интереса к нейросетевым моделям. Это было связано с накоплением новых данных при экспериментальных исследованиях мозга. Кроме того, развитие микроэлектроники и компьютерной техники, способствующее созданию технической базы для моделирования сложных нейронных систем, привело к пониманию того, что радикально увеличить производительность можно лишь за счёт параллельной обработки данных, которая органически присуща нейронным сетям головного мозга.

На сегодняшний момент сотни фирм и лабораторий занимаются исследованиями в области нейросетевых технологий. Разработан ряд нейрокомпьютеров и нейромодулей, которые могут работать под управлением обычных ЭВМ и самостоятельно со значительно более высоким быстродействием.

Создание высокоэффективных нейрокомпьютеров требует изучения трёх видов модулей нейронных сетей: физических, математических и технологических. Львиную долю публикаций по вопросам создания нейросетевых моделей составляют работы по реализации различных видов нейропроцессоров на основе СБИС, оптической, ПЛИС и других технологий. Однако подавляющее большинство аппаратных реализаций нейрокомпьютеров использует фон-неймановский процессор (универсальный или специализированный), который не может обеспечить «истинного» параллелизма, свойственного биологическим нейронным сетям.

Работы по исследованию физических модулей нейронных сетей, в которых отображаются физические принципы функционирования головного мозга, привели к созданию проекта «Кремниевой головной коры» (SCX-Silicon Cortex), возглавляемого немецким биологом М. Маховальдом. Тем не менее, несмотря на значительные достижения в разработке физических моделей мозга, пока не создано такой модели, которая адекватно отображала бы работу мозга и позволяла генерировать новое знание. Более того, главная проблема – моделирование зрения, внимания, координированного управления поведением – не имеет удовлетворительного решения в рамках нейросетевой технологии.

С этих позиций наиболее важными представляются работы по созданию математических моделей нейросетевых вычислительных элементов - формальных нейронов.

Большое внимание на разработку теории искусственных нейронных сетей оказал коннекционизм раздел искусственного интеллекта, связанный с созданием, исследованием и развитием моделей мозга (мышления) человека. С точки зрения коннекционизма (connection – связь) основной концепции построения нейронных сетей является идея о том, что нейроны можно моделировать довольно простыми автоматами, а вся сложность мозга, гибкость его функционирования и других важнейшие качества определяются связями между нейронами. Каждая связь представляет собой простой элемент, служащий для передачи сигнала. При таком подходе для нейросетевой модели характерно следующее:

- однородность системы (элементы нейронной сети одинаково простые, все определяется структурой связи);

- надёжность системы, построенной из ненадёжных элементов, за счёт избыточного числа связей;

- «голографичность», обеспечивающая сохранность свойств системы при разрушении её части.

Предполагается, что широкие возможности систем связи – демаскирование старых связей коннекционизм сыграл исключительно важную роль, поскольку помог понять основные механизмы индуктивного вывода, осуществляемого нейронной сетью, позволившие решить большое количество прикладных задач. Однако для создания математических нейросетевых моделей, адекватных реальным задачам, требуются более глубокие исследования биологических принципов функционирования головного мозга.

Основатель кибернетики Норберт Винер назвал свой главный труд «Кибернетика, или управление и связь в животном и машине». Этим определение Винер показал, что законы управления является общими для живой и неживой природы, предопределив тем самым фундаментальность кибернетики.

Информацию об окружающем мире и внутренней среде организма человек получает с помощью сенсорных систем, названных Павловым анализаторами. С точки зрения современной нейрофизиологии под сенсорными системами понимаются специализированные части нервной системы, состоящих из периферических рецепторов (органы чувств), отходящие от них нервные волокна (проводящие пути) и клетки центральной нервной системы, сгруппированные вместе в так называемые сенсорные центры.

В сенсорных органах происходит преобразование энергии стимула в нервный сигнал (рецепторный потенциал), который трансформируется в импульсную активность нервных клеток (потенциалы действия). По проводящим путям эти потенциалы достигают сенсорных центров, в клетках которых происходит переключение нервных волокон и преобразование нервного сигнала (перекодировка). На всех уровнях сенсорной системы одновременно с кодированием и анализом стимулов осуществляется декодирование сигналов (считывание сенсорного кода). Декодирование осуществляется на основе связей сенсорных центров с двигательными и ассоциативными отделами мозга. Нервные импульсы клеток двигательных систем вызывают возбуждение и торможение. Результатом этих процессов является движение (действие) или остановка (бездействие). Следует подчёркнуть, что природа носителя информации в сенсорных системах является электрической. Таким образом, основными функциями сенсорных систем являются: рецепция сигнала; преобразование рецепторного потенциала в импульсную активность проводящих путей; передача первичной активности в сенсорные центры; преобразование первичной активности в сенсорных центрах; анализ свойств сигналов; идентификация свойств сигналов и принятие решения.

Нетрудно заметить, что приведённое в предыдущем абзаце описание восприятия человеком влияния внешней среды есть описание работы системы управления с ЦВМ в контуре по рис.6.1 в терминах физиологии. Роль датчиков системы управления играют рецепторы, роль управляющей ЦВМ – головной мозг человека, роль исполнительных механизмов – двигательная система человека (его мышцы), роль задатчика программного движения – головной мозг.

Центральным звеном в биологических системах управления является мозг, состоящий из более чем 100 млрд. нервный клеток – нейронов, каждая из которых имеет в среднем 10000 связей.

Нейрон имеет (сому), «дерево» входов – дендритов и выходов – аксон (рис.6.2). Длина дендритов может достигать 1 мм, длина аксона – сотен миллиметров. На соме и дендритах располагаются окончания других нервных клеток. Каждое такое окончание называется синапсом. Проходя через синапс, электрический сигнал меняет свою амплитуду: уменьшает или увеличивает. Это можно интерпретировать как умножение амплитуды сигнала на весовой (синоптический) коэффициент. Взвешивание в дендритном дереве входные сигналы суммируются в соме, и затем на аксоном выходе генерируется выходной импульс (спайк) или пачка импульсов. Выходной сигнал проходит по ветви аксона и достигает синапсов, которые соединяют аксон с дендритными деревьями других нейронов. Через синапсы сигнал трансформируется в новый входной сигнал для смежных нейронов. Этот сигнал может быть положительным или отрицательным (возбуждающим или тормозящим) в зависимости ль вида синапса. Эти различия определяются синаптическим коэффициентом (весом синапса), который может меняться в процессе функционирования синапса.

Рис.6.2.Биологический нейрон

В настоящее время нейроны разделяют на три большие группы: рецепторные, промежуточные и эффекторные. Рецепторные нейроны предназначены для ввода сенсорной информации в мозг. Они преобразуют воздействие окружающей среды на органы чувств (свет – на сетчатку глаза, звук – на ушную улитку) в электрические импульсы на выходе своих аксонов. Эффекторные нейроны передают приходящие к ним электрические сигналы исполнительным органам, например мышцам, также через специальные синапсы своих аксонов. Промежуточные нейроны образуют центральную нервную систему и предназначены для обработки информации, полученной от рецепторов и при передаче управляющих воздействий на эффекторы.

Головной мозг человека и высших животных состоит из серого и белого вещества. Серое вещество есть скопление дендритов, аксонов и нейронов. Белое вещество образовано волокнами, соединяющими различные области мозга друг с другом, с органами чувств, мускулами. Волокна покрыты специальной элиминированной оболочкой, играющей роль электрического изолятора. В мозге существуют структурно обособленны отделы, такие, как кора, гиппокамп, таламус, мозжечок, миндалина, и др. (рис.6.3). Каждый из отделов имеет сложное модульнуе строение. Особое место модульное строение. Особое место в мозге занимает церебральная кора, которая является его важнейшей частью. В настоящее время принято считать, что именно в коре происходит важнейшие процессы ассоциативной переработки информации.

Рис.6.3.Схема слоев коры больших полушарий

Связи между сенсорными областями и корой, между различными участками коры физически параллельны. Один слой клеток проецируется на другой, причём проекции состоят из множества разветвляющихся и сливающихся волокон (проекции дивергируют и конвергируют). В настоящее время наиболее изучен ввод в мозг зрительной информации. Возбуждение от сетчатки достигает коры топографически упорядоченным образом, т.е. ближайшие точки сетчатки активизируют ближайшие точки коры. По реакции на зрительные стимулы различной сложности различают простые, сложные и гиперсложные нейроны. Имеется тенденция к усложнению рецепторных свойств нейронов по мере их удаления от входных областей коры. Можно предположить, что функциональная роль нейронных структур, примыкающих к органам чувств, включая сенсорные области коры, заключается в преобразовании сенсорной информации путём выделения всё более сложных информативных признаков входных сигналов. Ассоциативная обработка получающихся при этом совокупностей сенсорных признаков осуществляется в ассоциативных зонах коры, куда поступает и другие сенсорные образы.

Приведённое весьма поверхностное описание принципа обработки информации в живой природе позволяет сделать вывод, что техническая кибернетика вплотную подошла к решению задачи управления в реальном времени методами, отшлифованными за миллионы лет. Поэтому будем вполне резонным появление в настоящее время термина «нейроуправление», под которым понимается «область теории управления, занимающаяся вопросами применения нейронных сетей для решения задач управления динамическими объектами…».

Нейрокомпьютер – это ЭВМ (аналоговая или цифровая), основной блок операционный блок (центральный процессор) которой построен на основе нейронной сети и реализует нейросетевые алгоритмы.

Все задачи, которые решают с помощью средств вычислительной техники, удобно разделить на три класса: формализуемые, трудноформализуемые и не формализуемые.

Формализуемая задача имеет чётко сформулированный алгоритм решения. Причём, как правило, этот алгоритм учитывает класс машин, на котором будет решаться задача. Примером таких задач может быть интегрирование кинематических уравнений в бесплатформенных системах инерциальной навигации, вычисление элементарных функций, представленных рядами, и т.п.

Трудноформализуемая – задача имеет алгоритм решения, для которого трудно оценить качество алгоритма или достижимость решения. Этот класс задач возникает из-за большой размерности моделируемых в это задаче систем (известное выражение «проклятие размерности»). К таким задачам можно отнести моделирование сложных электронных устройств в системах автоматизированного проектирования, задачи интегрированной подготовки производств и др.

Неформализуемая задача имеет в свое постановке неявно заданные функции и параметры. К этому классу относят задачи распознания образов, кластеризации, идентификации информативных признаков и т.п. Необходимость решения таких задач возникла с появлением реальных нейронных ЭВМ в бывшем СССР ещё 30 лет назад.

В дальнейшем под нейронами и нейронными сетями следует понимать искусственно созданные технические объекты, принцип работы которых сравним с работой одноимённых биологических объектов.

Нейронной сетью (НС) называется динамическая система, состоящая из совокупности связанных между собой по типу узлов направленного графа элементарных процессоров, называемых формальными нейронами, способная генерировать выходную информацию в ответ на входное воздействие. Нейронная сеть является основной операционной частью нейронных ЭВМ, реализующей алгоритм решения задачи.

Формальным нейроном называется элементарны процессор, используемый в узлах нейронной сети. Математическая модель формального нейрона может быть представлена в следующем виде: , где у - выходной сигнал нейрона; - i-й входной сигнал; - вес i-го входа; - начальное состояние нейрона; i=1,2,…, n – номер входа нейрона; - функция выходного блока нейрона (функция активации).

Этому выражению может быть поставлена в соответствие структурная схема формального нейрона, приведённая на рис.6.4.

Рис.6.4.Структурная схема формального нейрона

Как видно из рисунка, на блоке осуществляется взвешенное суммирование входных сигналов. Эта сумма подаётся на блок функционального преобразования . Функция, которую реализует указанный блок, называется функцией активации, функцией возбуждения или переходнойфункцией.

Рис.6.5.Функции активации: а – пороговая со смещением; б – сигмоидальная; в - линейная с насыщением

Вид функции активации во многом определяет вычислительные возможности нейронной сети, состоящей из формальных нейронов. Основной недостаток модели с пороговым элементом – отсутствие достаточной гибкости при обучении и настройке нейронной сети на заданную задачу. Если значение вычисляемого скалярного произведения даже незначительно не достигает заданного порога, то выходной сигнал не формируется и нейрон «не срабатывает». Это значит, что интенсивность выходного сигнала (аксона) данного нейрона теряется, а, следовательно, значение уровня на взвешенных входах в следующем слое нейронов оказывается невысоким.

Этого недостатка почти лишена линейная (в общем случае кусочно - линейная) функция активации, реализация которой обеспечивает невысокую вычислительную сложность.

Сигмоидальная функция является некоторым компромиссом между линейной и ступенчатой функцией и сохраняет достоинства обеих. По аналогии со ступенчатой функцией и сохраняет достоинства обеих. По аналогии со ступенчатой функцией она нелинейна, что даёт возможность выделять в поисковом пространстве исследуемых объектов области сложной формы, в том числе невыпуклые и несвязные. С другой стороны, в отличие от ступенчатой функции она позволяет переходить от заданного значения входного сигнала к другому без разрывов, как это происходит при линейной функции. Однако любую из преобразующих функций активации (возбуждения) необходимо рассматривать как приближённую. Учитывая сложность архитектуры нейросети и трудность настройки её параметров на решение определённой задачи, необходимо переходить к более гибким произвольным нелинейным функциям. Для повышения эффективности работы нейронной сети разработан класс моделей нейронов, реализующих различные функции активации, которые можно подстраивать под соответствующие задачи. Для реализации произвольной функции активации в нейронной сети разработан оригинальный алгоритм обучения, основанный на генетическом поиске.

Описанный вычислительный элемент – формальный нейрон можно считать упрощенной математической моделью биологических нейронов.

Во многих практических задачах входы, веса и смещения могут принимать лишь некоторые фиксированные значения. Синоптические связи с положительными весами называют возбуждающими, с отрицательными - тормозящими.

Фактически формальный нейрон представляет собой процессор с очень ограниченной специальной системой команд (в литературе его принято называть нейросетевым базисом). По способу представления информации формальные нейроны могут быть аналоговыми и цифровыми. Они выполняют единообразные вычислительные действия и не требуют внешнего управления. Большое число параллельно работающих вычислительных элементов обеспечивают высокое быстродействие.

Основой при создании искусственных НС стали следующие особенности биологических нейронных сетей:

- наличие простого обрабатывающего элемента нейрона;

- участие в обработке информации очень большого числа нейронов;

- связь одного нейрона с большим количеством других;

- изменяющиеся веса связей между нейронами;

- параллельная обработка информации.

Графическую иллюстрацию соединения нейронов между собой в сети принято называть топологией. По виду топологии различают однослойные и многослойные сети.

В однослойных сетях нейроны могут соединяться по принципу «каждый с каждым» либо регулярно. В многослойных сетях нейтроны группируются по слоям. Классическим является связь нейрона одного слоя с каждым нейроном другого слоя. Внутри слоя нейроны связей собой не имеют. Два внешних слоя многослойной сети принято называть входными и выходными слоями.

Внутренние слои называют скрытыми слоями. Число скрытых слоёв неограниченно. Известна практика применения также двухслойных сетей, у которых только входной и выходной слои.

Работает сеть следующим образом. На нейроны входного слоя подаются входные сигналы ( ), кодирующее входное воздействие или образ внешней среды путём активации нейронов этого слоя. Выходы нейронов выходного слоя являются выходами сети. Множество выходных сигналов называют вектором выходной активности или паттерном активности нейронной сети. Веса связей нейронов сети удобно представлять в виде матрицы А, - вес связи между i-м и j-м нейронами. В процессе функционирования (эволюции) сети осуществляется преобразование входного вектора в выходной. Конкретный вид выполняемого сетью преобразования информации обуславливается не только характеристиками нейронов, но и особенностями её архитектуры, т.е. той или иной топологией межнейронных связей, выбором определённых подмножеств входных и выходных нейронов и т.д.

На рис.6.6-6.10 представлены некоторые варианты топологий нейронных сетей.

Рис.6.6.Однослойная ортогональная сеть Рис.6.7.Двухслойная сеть с прямыми