Сравнение статистики, машинного обучения и Data Mining

· Статистика

o Более, чем Data Mining, базируется на теории.

o Более сосредотачивается на проверке гипотез.

· Машинное обучение

o Более эвристично.

o Концентрируется на улучшении работы агентов обучения.

· Data Mining.

o Интеграция теории и эвристик.

o Сконцентрирована на едином процессе анализа данных, включает очистку данных, обучение, интеграцию и визуализацию результатов.

Понятие Data Mining тесно связано с технологиями баз данных и понятием данные, которые будут подробно рассмотрены в следующей лекции.

Развитие технологии баз данных

Е гг.

В 1968 году была введена в эксплуатацию первая промышленная СУБД система IMS фирмы IBM.

Е гг.

В 1975 году появился первый стандарт ассоциации по языкам систем обработки данных - Conference on Data System Languages (CODASYL), определивший ряд фундаментальных понятий в теории систем баз данных, которые до сих пор являются основополагающими для сетевой модели данных. В дальнейшее развитие теории баз данных большой вклад был сделан американским математиком Э.Ф. Коддом, который является создателем реляционной модели данных.

Е гг.

В течение этого периода многие исследователи экспериментировали с новым подходом в направлениях структуризации баз данных и обеспечения к ним доступа. Целью этих поисков было получение реляционных прототипов для более простого моделирования данных. В результате, в 1985 году был создан язык, названный SQL. На сегодняшний день практически все СУБД обеспечивают данный интерфейс.

Е гг.

Появились специфичные типы данных - "графический образ", "документ", "звук", "карта". Типы данных для времени, интервалов времени, символьных строк с двухбайтовым представлением символов были добавлены в язык SQL. Появились технологии DataMining, хранилища данных, мультимедийные базы данных и web-базы данных.

Возникновение и развитие Data Mining обусловлено различными факторами, основными среди которых являются следующие:

· совершенствование аппаратного и программного обеспечения;

· совершенствование технологий хранения и записи данных;

· накопление большого количества ретроспективных данных;

· совершенствование алгоритмов обработки информации.