Архитектура хранилища данных

рис. стр.952

Оперативные данные. К источникам оперативных данных относятся

а) Информация, хранящаяся в различных БД OLTP-систем. Причем СУБД, поддерживающие их, могут быть как реляционные, так и иерархические и сетевые.

б) Внешние системы, например, Internet, коммерчески доступные БД или БД, принадлежащие поставщикам и клиентам организации.

Менеджер загрузки. /*Существующий в СУБД или собственной разработки. */ Этот компонент выполняет все действия, связанные с извлечением данных источников и загрузкой их в хранилище. В том числе этот компонент выполняет при необходимости различные преобразования форматов.

Менеджер хранилища. /*Существующий в СУБД или собственной разработки. */ Этот компонент выполняет все операции, связанные с управлением информацией, находящейся в хранилище. Основные функции:

а) Анализ непротиворечивости данных.

б) Преобразование и перемещение данных из временного хранилища в основные таблицы.

в) Создание индексов и представлений для базовых таблиц.

г) Денормализация данных, если она требуется.

д) Обобщение данных, если оно требуется

е) Резервное копирование и архивирование.

Менеджер запросов. Этот компонент отвечает за выполнение операций с данными со стороны конечных пользователей. Функциональные возможности компонента определяются возможностями СУБД, под управлением которой эксплуатируется хранилище.

Детальные данные. В этой части хранилища находятся все детальные данные, полученные из оперативных систем. Однако не всегда эти данные хранятся непосредственно в том же виде, что и в оперативных системах: часто они при переносе в хранилище уже подвергаются некоторому обобщению.

Частично и глубоко обобщенные данные. В этой части хранилища находятся данные, обработанные менеджером хранилища. Назначение обобщенных данных состоит в повышении производительности запросов. Хотя предварительное обобщение требует некоторых дополнительных затрат на обслуживание, оно окупается исключением многократного выполнения сортировок и группировок данных.

Архивные копии. Чаще всего в архивы помещаются детальные данные хранилища. Однако может потребоваться сохранить и обобщенные данные, несмотря на то, что их можно вновь получить на основе детальных. Это нужно в случае, когда принято решение удалить детальные данные.

Метаданные. Кроме обычной для системного каталога информации метаданные хранилища должны содержать информацию об оперативном источнике данных. Также метаданные должны сохранять информацию о преобразовании источника, например, смене типа поля.

Средства доступа к данным конечных пользователей.

а) Инструменты создания отчетов и запросов. Это продукты, позволяющие пользователям строить запросы к БД, не зная языка БД и не в даваясь в нюансы реализации структуры БД. Чаще всего являются визуальными. Однако по мере усложнения запросов снижается эффективность их использования конечными пользователями.

б) OLAP- инструменты. Инструменты оперативной аналитической обработки данных, основной идеей которых является концепция многомерной БД. Они позволяют квалифицированным пользователям анализировать данные с помощью сложных многомерных запросов.

в) Инструменты разработки приложений. /*Работают с через внутренний языка БД, могут использовать генераторы отчетов или средства OLAP */

г) Инструменты разработки данных. Разработка данных – это процесс открытия новых осмысленных корреляция и тенденций путем переработки больших массивов информации. /*Могут быть частью OLAP */