![]() |
Главная Случайная страница Контакты | Мы поможем в написании вашей работы! | |
|
Требования:
· Интеграция данных из разнородных источников в распределенной среде.
· Хранение и обработка очень больших объемов информации.
· Наличие многоуровневых справочников метаданных.
· Повышенные требования к безопасности.
Данные в ХД:
· детальные
· агрегированные
· метаданные
В процессе работы менее нужные данные можно помещать в архив (более медленный доступ к устройствам).
Детальные данные разделяются на измерения – наборы данных, описывающие события (города, товары, люди) и факты – сущность события (количество проданного товара).
Агрегированные получают суммированием детальных числовых данных по определенным измерениям. В зависимости от возможности агрегировать различают:
· аддитивные – числовые фактические данные, которые могут быть просуммированы по всем измерениям
· полуаддитивные - числовые фактические данные, которые могут быть просуммированы по некоторым измерениям
· неаддитивные – не могут быть просуммированы
Агрегированные данные редко увеличивают избыточность и размер ХД. Поэтому те данные, к которым обращаются редко, могут храниться не агрегированными, тогда над ними будут производиться вычисления в процессе выполнения запроса.
Информация о содержащихся в ХД данных – это метаданные (что – описание объектов; кто – описание пользователей; где – место хранения; когда – описание времени; почему – причины). Они хранятся в репозитории с удобным пользовательским интерфейсом. Поток метаданных – поток информации об объектах предметной области.
Самый большой поток – входной. Данные очищаются и обогащаются новыми атрибутами (может быть объединение с внешними данными – текстовые файлы, Е-мэйл, электронные таблицы).
60% затрат при разработке ХД связаны с переносом данных. Процесс переноса включает в себя:
· извлечение
· преобразование
· загрузку
Такой процесс называется ETL-процессом (E - extraction, T - transformation, L – loading). Его выполняют ETL-системы.
Дата публикования: 2014-11-26; Прочитано: 241 | Нарушение авторского права страницы | Мы поможем в написании вашей работы!