Общая характеристика процесса консолидации данных (ETL)

Место консолидации в общем процессе анализа данных может быть представлено в виде структурной схемы (рис.

Рис. Процесс консолидации данных

В основе процедуры консолидации лежит процесс ETL (extraction, transformation, loading).

Процесс ETL решает задачи извлечения данных из разнотипных источников, их преобразования к виду, пригодному для хранения в определенной структуре, а также загрузки в соответствующую базу или хранилище данных.

Если у аналитика возникают сомнения в качестве и информативности исходных данных, то он может при необходимости задействовать процедуры оценки их качества, очистки или обогащения, которые также являются составными частями процесса консолидации.

Процесс сбора, хранения и оперативной обработки данных на типичном предприятии обычно содержит несколько уровней.

На верхнем уровне располагаются реляционные SQL-ориентированные СУБД типа SQL Server, Oracle и т. д.

На втором — файловые серверы с некоторой системой оперативной обработки или сетевые версии персональных СУБД типа FoxPro, Access и т. д.

На самом нижнем уровне расположены локальные ПК отдельных пользователей с персональными источниками данных. Чаще всего информация на них собирается в виде файлов офисных приложений — Word, Excel, текстовых файлов и т. д.

Из источников данных всех перечисленных уровней информация в соответствии с некоторым регламентом должна перемещаться в ХД. Для этого необходимо обеспечить выгрузку данных из источников, провести их преобразование к виду, соответствующему структуре ХД, а при необходимости выполнить их обогащение и очистку.

Таким образом, консолидация данных является сложной многоступенчатой процедурой и важнейшей составляющей аналитического процесса, обеспечивающей высокий уровень аналитических решений.