Средства сбора и доработки данных

Сбор данных из различных источников сопряжён с тем, что информация в них формируется в различных форматах, имеет разнообразную структуру. В информационном хранилище и в системах поддержки принятия решений или в витринах данных информация должна быть приведена к определённой в ИХ структуре и форматам витрин данных.

ИАС различного вида имеют в своём составе средства сбора данных из источников, созданных на различных аппаратных платформах: Intel, RISC, AS /400 и работающих во многих вариантах операционных сред, в том числе: в различных версиях Windows, Unix, AIX, Linux, О S -2 и т.д. Обеспечивается совместная работа со многими СУБД, как то: Access, Paradox, Fox Pro, MS SQL - Server, Oracle, DB -2, Informix, Линтер и т.д. Мощные ИАС насчитывают до 50-ти типов форматов, с которыми может взаимодействовать система.

Доступ к данным может быть реализован (организован) в двух вариантах.

В первом варианте производится непосредственное обращение из ИАС в базы данных. Этот процесс осуществляется с помощью драйверов из библиотек BDE (Borland Database Engine) и ODBC (Open Database Connectivity). Доступ к необходимым данным возможен после создания псевдонима данных – описателя, содержащего сведения, однозначно определяющие необходимую базу данных. Состав их зависит от типа СУБД и режима работы. При обращении к SQL -серверу достаточно указать наименование сервера и имя непосредственно базы данных. В случае работы с с файловыми системами необходимо указать полный путь к искомому файлу. В системе ODBC следует задавать источник данных ODBS DSN. Этот способ выборки данных позволяет реализовать режим непосредственного обмена on line, когда каждое изменение в источнике мгновенно отражается в OLAP -системе. Однако реализовать этот режим не всегда возможно в силу того, что источник может быть выключен или закрыт для доступа, из-за неудовлетворительного состояния каналов связи и по другим причинам.

Предусматривается в виду изложенного и другой режим. Перегрузка информации из операционных баз данных в этом режиме производится по определённому согласованному распорядку – сценарию, который может быть сформирован с помощью заимствованных средств, например блока преобразования данных DTS из состава MS SQL Server 7.0 или собственных средств разработчика OLAP - системы.

Операция перегрузки может производиться:

- непосредственно из баз данных с их форматами,

- из текстовых файлов, предварительно сформированных из таблиц операционных баз данных.

Все источники информации должны быть зарегистрированы в ИАС. Собранные из первичных источников данные компонуются в новую многомерную базу данных (МБД), которая имеет различные названия в конкретных реализациях ИАС. Например: Юнивёрс (Univers) в системе Business Objects, выборка в системе “Контур Стандарт”, гиперкуб - SAS, пул – SAP R -3, в некоторых источниках её называют факт-таблица (см. выше) и т.д. При построении МБД используются таблицы-справочники для доступа к информации, относящейся к различным классификаторам. Связи между объектами из нескольких источников данных определяются по ключевым полям.

Средства OLAP -систем предоставляют широкие возможности применения фильтров в процессе компоновки МБД.