Проблемы, связанные с созданием и эксплуатацией ХД

Современные принципы построения хранилищ данных

Проблемы формирования отчетов с использованием копий БД

1. Информации становится слишком много.

2. Как правило, разные процессы в организации обслуживаются разными программными продуктами.

3. Многие системы не могут хранить данные всей компании в целом.

4. В компании вырабатываются некие критерии эффективности, которые не хранятся в системе явно.

Ключевая фраза, описывающая работу Хранилища Данных:

«Данные забираются из источников, т.е. оперативных систем организации, перерабатываются, загружаются в БД хранилища, и затем на основе переработанных данных строятся отчёты.»

Проблемы «данные забираются из источников»

Первая проблема— как выделить из базы данных источника только нужные записи.

Вторая проблема — это организация интерфейса между системой-источником и хранилищем (три подхода):

непосредственный доступ к БД источника;

доступ к копии БД источника;

выгрузка файлов.

Проблемы создания базы данных хранилища

Для отчётности требуются данные, изначально не предусмотренные моделью.

• С другой стороны, часть данных, которые предусмотрены, взять просто неоткуда.

• Все идентификаторы клиентов, документов и прочих объектов надо привести к единому формату.

• При этом должна остаться возможность по данным из хранилища найти объект в исходной системе.

• Взаимосвязи между объектами на источнике могут отличаться от связей, предусмотренных моделью.

Проблемы «преобразования»

Во-первых, администратор достаточно низкой квалификации должен увидеть проблему в тот момент, как она возникла.

Во-вторых, те люди, которые строили хранилище, с большой вероятностью уйдут,

а развитием и поддержкой будут заниматься другие.

В-третьих, SQL хорош для манипуляций данными, но совершенно не пригоден для выстраивания сложных потоков управления.

Реализация подходов к «построению отчетов»

Первый подход — online-отчётность.

Второй подход — ad hoc запросы.

Третий подход — интеллектуальный анализ данных, data mining.

Четвёртый подход – экспорт результатов анализа в другие системы.

Пятый подход — использование хранилища как ODS, operational data store.

Проблемы, связанные с эксплуатацией Хранилища

Первая проблема — данных и отчетов становится всё больше и больше с каждым днём.

Вторая проблема — некорректность исходных данных.

Третья проблема является логическим развитием первой и следствием решения второй: всё выше доверие к отчётам, всё больше пользователей получают доступ к данным.