Системы извлечения знаний

Прорыв в области высокоскоростных коммуникаций, ориентация сети Internet на реализацию коммерческих прило­жений привели к тому, что объем данных, требующих осмыс­ленной обработки, возрос настолько, что появилась реальная потребность в недорогих, простых в обращении, но достаточно гибких программах для осмысленного анализа лавинообраз­ного потока «сырой» информации. В результате этого спроса возник рынок интеллекту­альных систем нового поколения. Стали появляться програм­мы, способные самостоятельно, без предварительного обуче­ния на опыте эксперта, извлекать информацию (знания) из баз данных большого объема и глобальных информационных се­тей. Многие из этих программ были выпущены на рынок не совсем доработанными, что объясняется стремлениемих про­изводителей закрепиться в новой рыночной нише, однако тем­пы роста нового рынка и интерес, проявляемый к нему со сто­роны бизнесменов и политиков, позволяют специалистам пред­сказывать ему большое будущее.

В настоящее время нет строго определенного термина, обо­значающего новый класс интеллектуальных систем.

Чаще всего в литературе для их обозначения используется англоязычное словосочетание «data mining». В русскоязычном варианте можно встретить названия: «системы добычи данных (зна­ний)», «системы извлечения знаний», DM-системы и некото­рые другие.

Наиболее важными отличительными особенностями сис­тем, относимых к DM-системам.

1. Прежде всего, DM-системы обеспечивают автоматичес­кое выявление корреляций между различными атрибутами эле­ментов данных в реляционных БД. С их помощью можно полу­чить ответы, например, на такие вопросы, как: «Какие факто­ры способствуют увеличению числа продаж того или иного товара? Какие события влияют на изменения котировок цен­ных бумаг? Какова общая картина политических симпатий из­бирателей по регионам?» Часто в качестве одного из контро­лируемых параметров выступает шкала времени, тогда систе­ма имеет возможность отображать динамику валютных тор­гов, прогнозы пополнения сырьевых запасов, эволюцию взгля­дов электората.

Современные DM-системы способны не только находить корреляционные зависимости, но и оценивать вероятность каждой гипотезы. А наиболее мощные системы, использую­щие аппарат нечеткой логики, способны оперировать как количественными, так и качественными параметрами — «по­пулярный», «прибыльный», «стабильный» и др.

2. Важной функцией DM-систем является автоматичес­кая кластеризация данных для ответов, например, на такие вопросы: «На какие группы делятся клиенты страховой компании?» «Какая группа наиболее представительна?» «Какая наиболее доходна?» Обычно пользователей интересует не только количество и размер кластеров, но и расположение их центров, характеризующее черты типичного представи­теля данного класса объектов, четкость границ и многие дру­гие параметры.

3. Следующим важным атрибутом больших DM-систем является возможность автоматизированной обработки не­структурированной текстовой информации.

4. Еще одна важная особенность — каждая DM-система в той или иной степени обладает способностью генерировать итоговые отчеты в форме, максимально приближенной к тексту на естественном языке.

Для решения основной задачи DM-систем — выделения корреляционных зависимостей между данными — чаще всего используются три подхода: многомерный корреляционный анализ, обработка гипотез по принципу «запрос-отчет» и так называемые «интеллектуальные агенты».

Основными потребителями систем искусственного интеллекта в настоящее время являются военно-промышленные ком­плексы, а также финансовые и банковские структуры. Индустриальные компании, обладающие исследовательс­ким потенциалом, обычно идут по пути создания собствен­ных систем для обработки технической, управленческой и маркетинговой информации.