Пункт 3. Технологии информационных хранилищ.

Использование баз данных не дает желаемого результата автоматизации деятельности предприятия. Причина проста: реализованные функции хранения, обработки данных по запросу значительно отличаются от функций ведения бизнеса, так как данные, собранные в базах, не адекватны информации, которая нужна лицам, принимающим решения. Решением данной проблемы стала реализация технологии информационных хранилищ (складов данных).

Технологии информационного хранилища обеспечивают сбор данных из существующих внутренних баз предприятия и внешних источников, формирование, хранение и эксплуатацию информации как единой, хранение аналитических данных (знаний) в форме, удобной для анализа и принятия управленческих решений. К внутренним базам данных предприятия относятся локальные базы подсистем ЭИС (бухгалтерский учет, финансовый анализ, кадры, расчеты с поставщиками и покупателями и т.д.). К внешним базам – любые данные, доступные по интернету и размещенные на web-серверах предприятий - конкурентов, правительственных и законодательных органов, других учреждений.

Отличие реляционных баз данных, используемых в ЭИС, от информационного хранилища заключается в следующем:

• Реляционные базы данных содержат только оперативные данные организации. Информационное хранилище обеспечивает доступ как к внутренним данным организации, так и к внешним источникам данных, доступным по интернету.
• База данных ориентирована на одну модель данных функциональной подсистемы ЭИС. Базы обеспечивают запросы оперативных данных организации. Информационные хранилища поддерживают большое число моделей данных, включая многомерные, что обеспечивает ретроспективные запросы (запросы за прошлые годы и десятилетия), запросы как к оперативным данным организации, так и к данным внешних источников.
• Данные информационных хранилищ могут размещаться не только на сервере, но и на вторичных устройствах хранения.

Технология информационных хранилищ стала возможной после появления мейнфреймов и вторичных устройств - оптических устройств хранения данных с высокой емкостью. Среди них можно выделить CD-ROM (оптические диски только для чтения), WORM (диски с однократной записью), МО (магнитооптические диски стираемые и перезаписываемые), оптические библиотеки со сменой дисков вручную, библиотеки – автоматы с автоматической сменой дисков (так называемая технология Jukebox).

Для размещения и доступа к данным на таких устройствах разработан ряд файловых систем. Наиболее используемые технологии реализуют системы HSM (Hierarchycal Storage Management) и DM (Data Migration). HSM реализует технологии иерархического хранилища, Data Migration - миграции данных. HSM - система создает как бы “ продолжение” дискового пространства файлового сервера на вторичных устройствах (библиотеках - автоматах), доступного приложениям (рис. 3.1).

Рис.3.1. Размещение данных в информационном хранилище.

При конфигурации HSM указывается размер пространства на сервере, отводимого под буфер для обмена с оптическими библиотеками. Как только это пространство становится занятым и требуются данные из оптической библиотеки-автомата, реализуется алгоритм миграции данных: наименее используемые файлы с сервера переносятся в библиотеку-автомат, освободившееся пространство передается буферу. Из библиотеки в буфер перекачиваются требуемые файлы. Если приложение обратится к файлу, перенесенному в библиотеку-автомат, HSM повторяет алгоритм миграции.

Все перемещения выполняются автоматически и приложения «не подозревают» о наличии вторичных устройств хранения. Смена оптических дисков в библиотеках – автоматах позволяет неограниченно увеличивать базу данных.

Для хранения данных в информационных хранилищах обычно используются выделенные серверы, кластеры серверов (группа накопителей, видеоустройств с общим контроллером), мейнфреймы.

Для доступа к информационным хранилищам требуются технологии, удовлетворяющие следующим условиям:

• малая задержка. Хранилища данных порождают два типа трафика. Первый содержит запросы пользователей, второй - ответы. Для формирования ответа требуется время. Но так как число пользователей велико, время ответа становится неопределенным. Для обычных данных такая задержка не существенна, а для мультимедийных - существенна;
• высокая пропускная способность. Так как данные для ответа могут находиться в разных базах на значительных расстояниях друг от друга, требуется время на формирование ответа. Поэтому для обеспечения сбалансированной нагрузки требуется скорость передачи не менее 100 Мега бит/сек;
• надежность. При работе с кластерами серверов интенсивный обмен данными требует, чтобы вероятность потери пакета была очень мала;
• возможность работы на больших расстояниях, так как серверы кластера могут быть удалены друг от друга.

Всем этим требованиям удовлетворяет ATM-технология, технологии Fast Ethernet, Fibre Channel и др.

Особенность технологий информационного хранилища состоит в том, что они предлагают среду накопления данных, которая не только надежна, но по сравнению с сетевыми СУБД оптимальна с точки зрения доступа к данным и манипулирования ими. Информационное хранилище обеспечивает средства для преобразования больших объемов детализированных данных локальных баз посредством статистических методов в форму, которая удобна для стратегического планирования, реорганизации бизнеса, принятия обоснованных управленческих решений. Оно обеспечивает “слияние” сведений из внутренних и внешних источников в требуемую предметно ориентированную форму.

Объемы данных в организациях настолько возросли, что проводить оперативный анализ на основе множества локальных баз не эффективно. Идея, положенная в основу технологии информационных хранилищ, состоит в том, что все необходимые для анализа данные извлекаются из нескольких локальных баз, преобразуются посредством статистических методов в аналитические данные, которые помещаются (погружаются) в один источник данных – информационное хранилище.

В процессе погружения данные:

• Очищаются для устранения ненужной для анализа информации (адреса, почтовые индексы, идентификаторы записей и т.д.).
• Агрегируются (вычисляются суммарные, средние, минимальные, максимальные и другие статистические показатели).
• Преобразуются в единую структуру хранения из разных типов данных предметных приложений.
• При объединении данных из внутренних и внешних источников производится их преобразование в единый формат.
• Согласуются во времени, то есть приводятся в соответствие к одному моменту времени (например, к единому курсу рубля на текущий момент) для использования в сравнениях, трендах, прогнозах.

При слиянии данных из разных источников и размещении их в информационном хранилище обеспечивается:

• Предметная ориентация. Данные организованы в соответствии со способом их представления в предметных приложениях. В отличие от локальных баз информационное хранилище содержит агрегированные данные и не содержит ненужную с точки зрения анализа информацию, что значительно сокращает объемы хранимой информации.
• Целостность и внутренняя взаимосвязь. Хотя данные погружаются из разных внутренних и внешних источников, они объединены едиными законами наименования, способами измерения размерностей и т.д. В разных источниках одинаковые по наименованию данные могут иметь разные формы представления (например, даты) или названия (например, «вероятность доведения информации» в одном источнике и «вероятность получения информации» - в другом). Подобные несоответствия удаляются автоматически.
• Отсутствие временной привязки. Оперативные базы организации содержат данные за небольшой интервал времени (неделя, месяц), что достигается за счет периодического архивирования данных. Информационное хранилище содержит ретроспективные данные, накопленные за большой интервал времени (года, десятилетия).
• Согласование во времени; данные согласуются во времени (например, приводятся к единому курсу рубля на текущий момент) для использования в сравнениях, трендах и прогнозах.
• Неизменяемость. Данные не обновляются и не изменяются, а только перезагружаются и считываются из источников на сервер, поддерживая концепцию “одного правдивого источника”. Данные доступны только для чтения, так как их модификация может привести к нарушению целостности данных хранилища.

Таким образом, данные, погруженные в хранилище, организуясь в интегрированную целостную структуру, обладающую естественными внутренними связями, приобретают новые свойства. Они являются основой для построения аналитических систем и систем поддержки принятия решений. Именно поэтому технологии информационных хранилищ ориентированы на руководителей, ответственных за принятие решений.

Управленческому персоналу информационное хранилище обеспечивает предметно-ориентированный подход, показывая, какая информация имеется в наличии, как она получена, как может быть использована. Руководитель может получить обзор ситуации или в деталях рассмотреть данную ситуацию. При этом обеспечивается конфиденциальность (секретность) данных, предназначенных различным уровням руководителей и сотрудников.

Руководителям предприятия данные доступны посредством интеллектуальных запросов, инструментов создания интерактивных отчетов на экране, многомерного просмотра данных. Для реализации интеллектуальных запросов используются языки запросов SQL нового поколения, например, язык MDX.

Приложениям клиентов информационное хранилище обеспечивает выбор требуемой им информации по запросам. Запросы клиентов объединяются в распределенные транзакции.

Использование информационных хранилищ дает существенный выигрыш по производительности в системах поддержки принятия решений, в системах обработки большого числа транзакций с большим объемом обновления данных. Сами системы на базе информационных хранилищ называют транзакционными системами OLTP (On-Line Transaction Processing).

Для описания и управления данными в информационном хранилище используется метабаза. Мета – приставка, указывающая на то, что объект относится к более высокому уровню абстракции. Метабаза содержит метаданные, которые описывают, как устроены данные информационного хранилища, частоту изменений данных в источниках, источники данных (возможны ссылки на распределенные базы, размещенные на серверах с другими платформами), кто и как может пользоваться данными, права доступа и др.

В информационных хранилищах используются экономико-математические методы, генерирующие “информацию об информации“; статистические процедуры вычисления показателей для уменьшения объема данных и ускорения доступа к ним; методы обработки электронных документов, аудио-, видео- информации, графов и географических карт, методы сжатия – развертки данных.

Рассмотрим три типа архитектуры информационных хранилищ: витрины данных, двух и трехуровневые архитектуры.

Витрины данных – небольшие хранилища с упрощенной архитектурой, предназначенные для хранения части данных информационного хранилища с целью снятия нагрузки с основного информационного хранилища. В основном витрины содержат ответы на конкретный ряд вопросов, например, данные АРМ сотрудников организации .Информация в разных витринах может дублироваться.

Двухуровневая архитектура информационного хранилища (рис.3.2) обеспечивает ретроспективные запросы (запросы данных за прошлые годы), анализ тенденций, поддержку принятия стратегических решений. Они ориентированы на оперативные базы организации и внешние источники, доступные по интернету.

Рис. 3.2. Схема двухуровневой архитектуры информационного хранилища

Трехуровневая архитектура информационного хранилища (рис.3.3) за счет использования витрин данных ускоряет обслуживание и увеличивает число пользователей по сравнению с двухуровневой архитектурой.

Рис.3.3. Схема трехуровневой архитектуры информационного хранилища

Примерами информационных хранилищ могут служить Oracle VLM, разработанная фирмами Oracle и Digital, Red Brick Warehouse 5.0 корпорации Red Brick Systems, Business Information Warehouse и др.