Естественно-языковые интерфейсы

Повышение уровня интеллекта компьютера – процесс бесконечный. В процессе создания антропоморфной (подобной человеку) искусственной интеллектуальной системы разработчики стремятся заложить в нее то, на что способен человек [16]:

* способность выделять существенное в накопленных знаниях;

* способность извлекать следствия из накопленных знаний, т.е. способность к рассуждению;

* способность к оценке знаний и действий;

* способность к аргументированному принятию решений, использующему результаты рассуждений;

* способность к рационализации идей;

* способность к целеполаганию и планированию;

* потребность и способность находить объяснения как ответ на вопрос «почему?»;

* способность к адаптации в условиях изменения жизненной ситуации;

* способность к созданию целостной картины относительно предмета мышления;

* способность к обучению.

В настоящее время наиболее интенсивные исследования проводятся в направлениях:

- внешняя интеллектуализация систем - совершенствование диалоговых интерфейсов;

- внутренняя интеллектуализация систем - создание компиляторов новой архитектуры;

- моделирование отдельных функций творческих процессов (игра в шахматы, доказательство теорем);

- целенаправленное поведение роботов, способных автономно совершать операции по достижению целей.

В рамках первого направления разрабатываются естественно-языковые (ЕЯ) интерфейсы «человек – компьютер», предполагающие применение БЗ.

Эксплицитные (осознанные) знания основываются на вербальных формах репрезентации (представления), а имплицитные (бессознательные) базируются на вербальных и невербальных формах репрезентации (рис.12.1).

Под экспликацией понимается процедура уточнения знания терминов в рамках данной научной теории. Эксплицитные знания всегда
дискретны, вербальны и структурированы. Второй формой эксплицитных вербальных знаний являются ассоциации, которые должны обладать всеми

признаками формальных языков (входной алфавит, правила преобразований и образования выражений, правила
интерпретации). Экспликация содержания ассоциаций предполагает,
как и структурированные вербальные знания, наличие ролевых
эталонных семантических структур, представляющих собой фреймы, в слотах которых находятся маркеры ролей элементов, составляющих сценарий. Подстановка ролей в слоты осуществляется во время
обучения системы.

Рис.12.1. Связь между видами знаний и формами их репрезентации

Имплицитные знания могут быть как вербальными, так и невербальными. Имплицитность выражается в смутном представлении каких-либо объектов, их свойств или состояний и отличается отрывочностью, хаотичностью бессвязных нагромождений вербальных ассоциаций или невербальных образов. С формальной точки зрения
имплицитность характеризуется отсутствием одного или нескольких признаков формальных систем.

По своей природе имплицитные знания делят на активные и пассивные. Активные – дискретные знания, форма представления которых позволяет обрабатывать их непосредственно формальными правилами комбинаторной семантики. Пассивные– недискретные и невербальные знания.

Первый уровень машинного понимания предполагает использование при ответе на вопросы содержания, отражаемого текстом. Модели, с помощью которых воссоздаются знания экспертов, характеризуются различным уровнем синтаксичности. Высокий уровень синтаксичности приводит к ошибочной автоматической интерпретации модели.

Естественно-языковое общение с ИИС предполагает выполнение следующих функций (рис.12.2):

* ведение диалога– определение его структуры и той роли, которую система и пользователь выполняют на текущем шаге диалога;

* понимание– преобразование поступающих от пользователя высказываний на ЕЯ в высказываниях на языке внутреннего представления;

* обработка высказываний– формирование или определение знаний для решения задач на данном шаге диалога;

* генерация– формирование выходных высказываний на ЕЯ.

Рис.12.2. Обобщенная схема ЕЯ-системы

Ведение диалога состоит в том, чтобы обеспечить целесообразные действия системы на текущем шаге. При этом диалог может вести пользователь или система. Вторая задача диалогового компонента вызвана тем, что реакция одного участника может не соответствовать ожиданиям другого. В зависимости от того, кто осуществляет перехват инициативы, система либо формирует перехват, либо обрабатывает его.

Компонент понимания высказываний предназначен для выделения смысла входного высказывания и выражения этого смысла на внутреннем языке системы. Под смыслом системы понимается семантико-прагматическая информация, которую пользователь хотел передать системе. На этапе анализа выделяются описания сущностей, упомянутых во входном высказывании, выявляются свойства этих сущностей и отношения между ними. Анализ обычно выполняется отдельным блоком – анализатором. Интерпретация заключается в отображении входного высказывания на знания системы. Основными задачами данного этапа являются буквальная интерпретация высказывания в контексте диалога и интерпретация высказывания на намерения говорящего. Буквальная интерпретация состоит в том, чтобы, учитывая контекст диалога, идентифицировать образы тех сущностей области интерпретации, которые имел в виду говорящий. Вторая задача интерпретации состоит в том, чтобы, применяя имеющиеся у системы методы вывода, определить, как обрабатываемое высказывание соотносится с целями и планами участников диалога.

Компонент генерации высказываний решает в соответствии с результатами, полученными остальными компонентами системы, две основные задачи: генерация смысла, т.е. определение типа и смысла выходного высказывания системы во внутреннем представлении; синтез высказывания – преобладание смысла в высказывании на ЕЯ.

Диалог можно рассматривать на трех уровнях: общая структура, характеризующая тип диалога и класс решаемых задач; тематическая структура, отражающая структуру конкретной задачи; структура шага диалога, отражающая взаимодействие участников в элементном акте диалога. На уровне глобальной структуры действия системы обычно задаются в виде последовательности этапов, определяемых в зависимости от класса решаемых задач. В случае общения с ЭС глобальная структура включает этапы: инструктаж, определение задачи, решение задачи, объяснение в ходе решения задачи, выдача результатов и их оценка, объяснение после решения задачи, определение причин неудачи. Глобальная структура задается декларативно с помощью правил-продукций.

Тематическая структура диалога обычно представляется в виде сценария, в рамках которого определяются структура задачи (разбиение на подзадачи); распределение подзадач между участниками общения; языковые средства. Для задания сценария диалога используются два основных класса: сценарий встроен в систему; сценарий генерируется системой. Готовый сценарий может быть задан в виде частично упорядоченного множества правил с параметрами, значения которых устанавливаются в процессе решения конкретной задачи. Использование готовых сценариев целесообразно в тех случаях, когда к системе предъявляются жесткие требования по быстродействию.

Если сценарий генерируется системой, то в диалоговый компонент включается специальный механизм вывода. Генерация сценариев диалога целесообразна в тех случаях, когда структура задачи зависит от контекста ситуации, в которой происходит ее решение, а полный перечень ситуаций не может быть определен заранее.

При задании локальной структуры шага диалог состоит из действия, реакции и характеризуется параметрами: тип инициирования, способ влияния действия на реакцию, способ спецификации подзадачи, решаемой на данном шаге.

Понимание высказываний включает анализ и интерпретацию. В методах анализа обычно выделяют анализ слов, предложений и текстов. Анализ слов сводится к морфологическому анализу, обнаружению и исправлению орфографических ошибок. Цель морфологического анализа состоит в получении основ (словоформ с отсеченным окончанием) со значениями грамматических категорий для каждой из словоформ ЕЯ высказывания. Методы обнаружения и исправления орфографических ошибок подразделяются на методы, не использующие словари и использующие их. К методам, не использующим словари, относятся частотные и полиграммные. Частотные основаны на сортировке слов по частоте их встречаемости в текстах. Предполагается, что частота встречаемости слов, содержащих ошибки, низкая. В полиграммных методах для поиска ошибок применяют списки возможных сочетаний букв в словах. Методы, в которых используются словари, разделяются в зависимости от типа применяемой стратегии на абсолютные и относительные. К абсолютным относится «исторический» метод, основанный на словаре встречаемых ранее ошибок. Эффективность его зависит от размера проанализированных текстов. Относительный метод состоит в нахождении в словаре таких слов, которые наиболее похожи на искаженное слово, и выборе среди них правильного.

Анализ предложенийобычно сводится к синтаксическому и семантическому анализу, выполняемому функциональным блоком-анализатором.

Существует несколько типов анализаторов: традиционные (не допускают отклонений от грамматических норм); концептуальные (позволяют анализировать ЕЯ предложения в условиях пропуска и повтора слов); использующие сопоставление по образцам (позволяют анализировать предложения, отклоняющиеся от традиционной грамматики в произвольной степени).

Методы анализа связного текста(дискурса). Связность текста достигается как лингвистическими средствами, имеющими языковое выражение, так и экстралингвистическими (ситуационными) средствами-«умолчаниями», не имеющими языкового выражения и основанными на общности знаний участников общения о цели общения и проблемной области. На этапе анализа связного текста решается задача выявления связей между предложениями, выражаемых лингвистическими средствами, а на этапе интерпретации - ситуационными.

К основным лингвистическим средствам связи предложений относятся ссылки и эллипсис. В проблеме установления ссылок могут быть выделены две задачи: поиск в предыдущих предложениях (контексте) сущности (референта), обозначаемой данной ссылкой; определение соответствия между референтом и ссылкой.

Под эллипсисом понимается сжатая форма высказывания, смысл которой определяется либо предыдущими высказываниями (текстовый эллипсис), либо ситуацией, имеющей место в проблемной области (ситуативный эллипсис).

На этапе интерпретации решаются две основные задачи: буквальная интерпретация высказываний в контексте диалога; интерпретация целей участников общения. Для решения обеих задач в рамках фрейм-представлений используется единый механизм присвоения имени фреймов, при этом структура целей участников общения определяется структурой фрейма, описывающего данную задачу, а подцели состоят в заполнении слотов.

Процесс генерации высказываний состоит из генерации смысла высказывания и синтеза высказывания на ЕЯ. Первый этап называется внелингвистическим (концептуальным) синтезом, а второй - лингвистическим синтезом. Результатом выполнения первого этапа является внутреннее представление смысла генерируемого высказывания (определение информации, которая должна быть сообщена пользователю, определение уровня общности информации, включаемой в высказывания, разбиение сообщаемой информации на части и др.). На втором этапе определяется последовательность построения синтаксической структуры отдельных предложений, морфологического синтеза словоформ. Наиболее простым методом генерации высказываний является метод, который основан на использовании заранее заготовленных шаблонов, содержащих текст на ЕЯ и переменные, вместо которых подставляются конкретные данные (описание сущностей). При методе шаблонов генерация высказываний осуществляется совместно с диалоговым компонентом, который идентифицирует стандартную ситуацию и определяет, какая информация должна быть включена в высказывание. Генерация высказываний, которые не могут быть описаны с помощью шаблонов, представляет собой более сложную задачу. К таким высказываниям, в частности, относятся объяснения, генерируемые в качестве ответов на вопросы, областью интерпретации которых являются абстрактные знания и метазнания системы. Для генерации объяснений требуется достаточно тонкая классификация целей создания ЕЯ-текстов. Организация текста определяется дискурсными целями, например, дать определение, описать, сравнить, уточнить и прочее. Каждой дискурсной цели может быть сопоставлен определенный способ организации текста, называемый дискурсной стратегией. Предполагается, что, выявив дискурсные стратегии и выразив их подходящим формальным представлением, можно получить достаточно надежный и эффективный механизм генерации смыслопорождаемых текстов.

Машинное обучение

Машинное обучение – это синоним процедуры приобретения знаний, которая может быть использована, когда эксперт по знаниям:

· не существует;

· недостаточно надежен;

· чересчур дорог;

· недоступен постоянно во времени.

Процесс обучения машины в общем случае поясняется на рис. 12.3 [1].

Рис. 12.3. Модель обучения

Система генерирует знания, полученные в результате изучения среды. В процессе сравнения выходов ИИС и объекта информатизации в соответствии с критерием выявляется расхождение между результатами реального мира и выходом системы. Цель заключается в том, чтобы трансформировать реакцию среды и оценку в соответствии с критерием в форму знания.

Индуктивное обучение заключается в том, чтобы получить применимые правила из изучения прошлых специфических примеров. Таким образом, индуктивное обучение также называется обучением по примерам. В основу индуктивного обучения положены принципы индуктивных умозаключений. Индуктивным называется умозаключение, в котором на основании принадлежности признака отдельным предметам или частям некоторого класса делают вывод о его принадлежности классу в целом.

В связи с высокой трудоемкостью извлечения знаний по обычной технологии инженерии знаний в течение последних нескольких лет интенсивно разрабатываются методы автоматического извлечения знаний из накопленных фактов. В основе этих методов лежат известные из логики методы индуктивного вывода и ряд методов распознавания образов – «раскопка данных и открытие знаний». В отечественной литературе используется термин «интеллектуальный анализ данных (ИАД)» (рис. 12.4).

Рис.12.4. Классификация методов ИАД

Классической основой извлечения знаний из накопленных данных является математическая статистика.

ИАД – это процесс поддержки принятия решений, основанный на поиске данных скрытых закономерностей, то есть извлечения информации, которая могла быть охарактеризована как знания. В основу современной технологии ИАД положена концепция шаблонов (паттернов), отражающих фрагменты многоаспектных отношений в данных, которые могут быть компактно выражены в понятной человеку форме. Поиск шаблонов производится методами, не ограниченными рамками априорных предположений о структуре выборки в виде распределений значений анализируемых показателей. Важное положение ИАД – нетривиальность разыскиваемых шаблонов. Это означает, что найденные шаблоны должны отражать неочевидные, неожиданные регулярности в данных, составляющие скрытые знания.

Все методы ИАД подразделяются на две группы по принципу работы с исходными обучающими данными.

В первом случае исходные данные могут храниться в явном детализированном виде и непосредственно использоваться для прогностического моделирования и анализа исключений (выявления аномалий в найденных закономерностях). Это так называемые методы рассуждений на основе анализа прецедентов. Главной проблемой этой группы методов является затруднительность их использования на больших объемах данных.

Во втором случае информация вначале извлекается из первичных данных и преобразуется в некоторые формальные конструкции. Сам процесс поиска зависимостей распадается на три этапа: обнаружение зависимостей, прогнозирование, анализ аномалий. Обнаружение зависимостей состоит в просмотре БД с целью автоматического выявления. Проблема заключается в отборе действительно важных зависимостей из огромного числа существующих в БД. Прогнозирование предполагает, что пользователь может предъявить системе записи с незаполненными полями и запросить недостающие значения. Система сама анализирует содержимое БД и делает правдоподобные предсказания относительно этих значений. Анализ аномалий – это процесс поиска подозрительных данных, сильно отклоняющихся от устойчивых зависимостей.

При выборе системы ИАД следует учитывать следующее:

* Система ИАД должна предсказывать значения целевой переменной и решать задачи классификации состояний объекта с тем, чтобы подбирать наилучшие модели для каждого класса состояний.

* Система должна автоматически выполнять тесты, определяющие статистическую значимость развиваемой модели.

* Полученная модель должна быть легко интерпретируема.

* Система должна находить правила разнообразного вида.

* Контроль за процессом обработки данных усилится, если воспользоваться ИАД-системой.

* Важное значение имеет время обработки данных.

Основу программных средств ИАД составляет автоматический генератор функциональных процедур, который служит для описания скрытых закономерностей в данных. Процесс построения гипотез идет автоматически, независимо от их сложности. Система ИАД позволяет представить обнаруженные закономерности в символической форме – как математические формулы, таблицы, алгоритмы.

Выделяют пять стандартных типов закономерностей, которые позволяют выявлять методы ИАД: ассоциация, последовательность, классификация, кластеризация, прогнозирование.

Ассоциация имеет место в том случае, если несколько событий связаны друг с другом.

Последовательность – если существует цепочка связанных во времени событий.

Классификация – выявляются признаки, характеризующие группу, к которой принадлежит тот или иной объект.

Кластеризация отличается от классификации тем, что сами группы заранее не заданы.

Прогнозирование – основой служит историческая информация, хранящаяся в БД в виде временных рядов.