Средства преобразования данных

Ввиду чрезвычайно высокой значимости информации, используемой для анализа, которая повышается после выполнения аналитических работ, обязательна процедура предварительной очистки данных. Производится обеспечение и проверка достоверности различными аппаратно-программными средствами и многими способами, в том числе:

- обратная проверка, контрольное суммирование, помехозащитное кодирование, семантический контроль и т. д.

Помимо этого производится логическая обработка данных в виде отбраковки нехарактерных для данного набора значений разного рода показателей. В этом случае используются средства статистической обработки данных и другие методы.

Необходимость преобразования связана с тем, что физическое представление данных в ИХ, как правило, сильно отличается от представлений в источниках. Ставится также задача эффективной реализации запросов и выполнения требования по времени отклика системы. Имеется потребность в унификации форматов представления данных.

Для этих целей используются языки обработки реляционных и многомерных данных, а также специальные процедуры. Языки могут быть заимствованными или фирменными.

При сборе (доставке), упаковке данных в ИХ возникает естественная потребность в агрегировании данных. По материалам исследований 90% пользователей используют в работе сильно агрегированную

информацию. Необходимость в использовании информации детального уровня возникает весьма редко. Для обеспечения эффективного использования ИХ ведётся наблюдение в процессе эксплуатации за частостью и характером запросов к хранимым данным. Выявляются закономерности, определяются наиболее частые типы запросов. На основании наблюдений заранее готовится агрегированная информация по соответствующим показателям. Такие меры резко снижают время отклика, соответственно повышается эффективность ИАС. Для реализации такого подхода применяются специальные процедуры.