Аналитические технологии и аналитические информационные системы

К аналитическим технологиям, или технологиям аналитического анализа данных, относят подкласс информационных технологий, ориентированных на задачи прогнозирования состояния сложных динамических систем в нестационарных и неоднородных средах, разработку сценариев развития ситуаций в условиях комплексной динамической неопределенности, ситуационный анализ текущей обстановки и т.п. Постоянно возрастающий интерес к аналитическим технологиям, рассматриваемым в контексте систем управления, прежде всего, обусловлен тем, что важнейшей составной частью любого процесса управления являются действия по сбору и анализу информации, содержание которых составляют оценка текущей ситуации и прогноз ее развития.

Под ситуацией в данном случае понимается совокупность характеристик объекта управления и среды его функционирования в некоторый момент времени. Оценка ситуации подразумевает вычисление значений этих количественных и качественных характеристик (как правило, с их объединением и обобщением) и их критериальное соотнесение с требованиями (рис. 5.1).

Популярность аналитических технологий обусловлена влиянием трех основных групп факторов.

Во-первых, при реализации современных систем управления и их компонентов необходимо учитывать следующее:

прогресс развития любого объекта управления в абсолютном большинстве случаев связан с его усложнением, а следовательно – с увеличением исследуемых характеристик и в целом начального информационного базиса;

динамичный характер, как объектов управления, так и среды их функционирования, обусловленный множеством явных и скрытых связей в общем случае материального, информационного и энергетического характера, что находит отражение в необходимости хранения временных рядов, характеризующих наблюдаемые ситуации, и способствует резкому росту информационных потребностей в оценивании и прогнозировании динамики этих ситуаций;

Рис. 5.1. Место задач анализа данных в процессе управления

рост требований к эффективности управления (и в первую очередь – оперативности, обоснованности и достоверности процессов принятия решений) – как следствие возрастающей конкурентной борьбы неантагонистического или антагонистического характера и степени влияния эффективности управления на эффективность и качество функционирования любой системы (совершенствование управления по ряду причин всегда более предпочтительнее совершенствования объекта управления).

Таким образом, наблюдается объективный рост сложности объектов и задач управления, требующий адекватных изменений средств поддержки принятия оперативных им стратегических решений в нестационарных средах.

Во-вторых, в настоящее время создано и широко используется большое множество информационных систем различного уровня, которые относятся к классу информационных систем операционной обработки данных (или так называемым транзакционным системам) – OLTP. Реализуя основные информационные процессы, связанные с функциями учета и контроля (мониторинга), OLTP системы создают возможность накопления первичных данных (и прежде всего - временных рядов наблюдений) для их последующего анализа в интересах подготовки и принятия решений на основе прогноза развития ситуаций.

В третьих, за последнее десятилетие:

существенно изменились возможности средств вычислительной техники, а именно – качественно возросли их вычислительная мощность и возможности реализации эффективного диалога с пользователями, на несколько порядков увеличились возможности хранения больших объемов информации, резко снизилась удельная стоимость вычислительных ресурсов;

на базе достижений в области информационных технологий и телекоммуникаций стало возможным формирование единых информационных пространств предприятий, организаций, корпораций, сообществ и т. д., резко увеличивающее объемы оперативно доступной информации самого различного характера.

Совокупность указанных факторов привела к осознанию возможности принципиально нового подхода к осуществлению процессов сбора и анализа информации в системах стратегического и оперативного планирования, оперативного и технологического управления, который находит свое выражение в создании и применении аналитических технологий, ориентированных на решение задач поддержки принятия решений. К таким задачам относятся:

оценка текущего и прогнозируемого состояния объекта управления и (или) среды его функционирования;

обнаружение и исследование скрытых закономерностей, факторов, тенденций и взаимосвязей;

обобщение информации как агрегация и интеграция сведений различного характера;

формирование альтернативных решений и выбор "оптимального" в соответствии с заданным критерием, а также результатами анализа сценариев развития ситуаций;

моделирование процесса эволюции состояния объекта в нестационарной неоднородной среде и т.д.

В свою очередь, повышение качества процессов обобщения и анализа информации на основе аналитических технологий и их реализующих современных средств достигается автоматизированной реализацией процессов:

выявления скрытых закономерностей и факторов;

количественной оценки факторов влияния и угроз в сложившейся ситуации;

использования опыта на основе автоматизированного формирования и поиска прецедентов анализируемых ситуаций в массивах ретроспективных данных;

высокодостоверного прогнозирования эволюции состояния объекта исследования, в т.ч. выявления предпосылок к скачкообразному изменению этого состояния.

Перечисленные ключевые возможности аналитических технологий позволяют рассматривать их как аналитическую и информационную основу не только процессов обобщения и анализа информации о текущем и прогнозируемом состояниях объекта управления и среды его функционирования, но и процессов подготовки (выработки и оценки) вариантов решений (рис. 5.2).

Данный аспект применения аналитических технологий осуществляется посредством использования:

результатов прогнозирования развития процессов и явлений для оценки эффективности возможных (в т.ч. альтернативных) вариантов решений, планов и программ действий, а также управляющих воздействий иного рода;

способов ретроспективного анализа содержимого хранилищ данных для поиска типовых ситуаций, требующих управления, и выработки вариантов решений на основе аналогий и накопленного опыта управления;

специально разработанного комплекса анализа эффективности управленческих решений, основанных на формировании виртуальных сценариев развития частично управляемых ситуаций.

Аналитические технологии – обобщающий термин, применяемый для обозначения подходов к комплексному использованию ряда формальных и эвристических методов и информационных технологий. Основными отличительными чертами таких подходов являются:

Рис. 5.2. Участие аналитических технологий в подготовке вариантов решений

ориентация на динамические данные, позволяющие строить временные ряды и осуществлять как ретроспективный анализ характеристик объектов, процессов и явлений, так и решение задач оперативного и долгосрочного прогнозирования с выявлением неявных зависимостей и скрытых влияний (воздействий);

объединение элементов технологий хранилищ данных и тематических витрин данных, оперативной аналитической обработки данных, интеллектуального анализа данных и прецедентного прогноза, ставшее возможным благодаря появлению современных высокопроизводительных архитектур и платформ для создания вычислительной среды.

Таким образом, аналитическая технология – это средство решения задач анализа и прогнозирования состояния объектов в нестационарных средах на основе накопления "истории", ретроспективного анализа накапливаемых данных и динамического формирования (улучшения) формальных моделей явлений и процессов, что стало возможным только при определенном уровне эволюции вычислительной техники.

Основным содержанием ИАД является автоматизированный прецедентный анализ сверхбольших объемов ретроспективной информации, сконцентрированных в информационных хранилищах.

Основной задачей, решаемой ИАД, является вскрытие неявных закономерностей, взаимозависимостей и факторов влияния в интересах задач ситуационного анализа и прогноза на основе широкого спектра математических инструментов – от фундаментальных статистических методов регрессионного и многофакторного дисперсионного анализа до новых кибернетических алгоритмов, основанных на нейронных сетях, эволюционном моделировании и т.п. (рис. 5.3).

По существу, методология ИАД сводится к структуризации прогностической информации на основе прецедентного анализа исторических, ретроспективных данных. Важнейшей особенностью ИАД является гармоничное сочетание строгих, формальных методов (алгоритмов) анализа количественной информации с методами неформального, качественного анализа, опирающегося на субъективные знания экспертов и эвристические приемы их работы.

Сочетание прецедентного анализа ретроспективных данных с возможностями прогностических методов позволяет рассматривать средства ИАД как составную (и наиболее важную) часть современных систем поддержки принятия решений (СППР), реализующих контроль текущего и прогнозируемого состояния объекта управления, и способных осуществлять подготовку и количественную оценку возможных вариантов решений (рис. 5.4).

Рис. 5.3. Основные методы ИАД

Рис. 5.4. Схема содержания технологии ИАД

Акцент на количественной методологии позволяет перенести центр тяжести процедуры выработки проекта решения с эвристических логико-интуитивных методов, характерных для традиционной экспертной технологии, на мощную глубоко формализованную платформу фундаментальной и прикладной математики. При этом качественный, экспертный анализ также сохраняется, но теперь основным центром его приложения является не всеобъемлющий и трудно охватываемый обзор исторического опыта, а лишь вполне обозримый объем конечного набора уже сформированных вариантов решений на фоне подготовленных прогностических сценариев.

Таким образом, речь, по существу, идет о новой форме гибридного интеллекта, сочетающей получение формально-оптимальных решений с эвристическим принятием терминальных качественных решений.

Методология ИАД существенно шире, чем только прецедентный прогноз и синергетика – обзорные сведения об этих методах приведены для того, чтобы подчеркнуть принципиально новые возможности, которые открывают современные средства хранения и обработки данных.

Следует отметить еще одну весьма существенную проблему, возникающую непосредственно в процессе применения математико-аналитических инструментальных средств (как "классических", так и относящихся к средствам ИАД).

Суть проблемы состоит том, что любой предметный эксперт является глубоким профессионалом в своей области, но он не является экспертом в области математической обработки данных, в существенных тонкостях применения того или иного математического аппарата. В результате некорректного применения математики, заложенной в программно реализованных средствах поддержки работы предметного эксперта, полученные формализованные решения во многих ситуациях оказываются неверными (неадекватными реальным ситуациям); отсюда возникает кризис доверия к методам автоматизированного статистического анализа, машинным методам прогнозирования сценариев и т.п.

Одновременная работа предметного эксперта с математиком также не всегда увенчивается успехом: очень мало математиков способны выйти из своей математической, узко специальной области и понять комплексную проблему предметного эксперта.

Иерархия средств, составляющих основное содержание аналитических технологий и фактически отображающая основную парадигму построения аналитических информационных систем (АИС), показана на рис. 5.5.

Обязательным условием применения аналитических технологий является наличие неких первичных данных (данных наблюдений, мониторинга), источником которых выступают OLTP-системы. Реализуя основные информационные процессы, связанные с функциями учета и контроля (мониторинга), OLTP системы создают возможность накопления первичных данных (и прежде всего – временных рядов наблюдений) для их последующего анализа в интересах подготовки и принятия решений на основе прогноза развития ситуаций.

Даже если имеющиеся OLTP-системы согласованы по способам классификации и кодирования информации и допускают выполнение распределенных запросов к их БД, их непосредственное использование для аналитической обработки имеющихся в них данных затруднено следующими обстоятельствами:

распределенное хранение в нескольких разнородных БД существенно затрудняет комплексное использование этих данных из-за сложности их одновременной выборки из нескольких источников, возможных пересечений перечней хранимых данных и (или) нарушений их согласованности (целостности);

запросы на выборку ретроспективных данных снижают реактивность транзакционных систем;

глубина ретроспективного анализа определяется принятыми ограничениями для длительности периода архивного хранения данных.

Из-за различий характера хранения и использования данных в транзакционных и аналитических системах данные, получаемые от OLTP-систем (первичные данные) подлежат помещению в хранилище данных (ХД).

ХД – предметно-ориентированный, интегрированный, неизменчивый, поддерживающий хронологию набор данных, организованный для целей поддержки управления. При этом возможность работы пользователей с форматом оперативных данных не предусмотрена, т.е. ХД не обеспечивает доступ к БД транзакционных систем со стороны пользователей.

Рис. 5.5. Иерархия средств реализации аналитических технологий

К числу главных преимуществ ХД относят следующее:

1) Единый источник информации: предприятие получает выверенную единую информационную среду, на которой будут строиться все справочно-аналитические приложения в той предметной области, по которой построено хранилище. Эта среда будет обладать единым интерфейсом, унифицированными структурами хранения, общими справочниками и другими корпоративными стандартами, что облегчает создание и поддержку аналитических систем.

2) Производительность: физические структуры хранилища специальным образом оптимизированы для выполнения абсолютно произвольных выборок, что позволяет строить действительно быстрые системы запросов.

3) Интегрированность: интеграция данных из разных источников уже сделана, поэтому не надо каждый раз производить соединение данных для запросов, требующих информацию из нескольких источников.

4) Историчность и стабильность: информационное хранилище данных нацелено на долговременное хранение информации за период 10-15 лет с адаптацией хранимой информации к изменениям структуры и параметров, происходящих в отображаемом объекте. Благодаря этому появляется возможность осуществлять исторический анализ информации.

5) Независимость: разделение информационного хранилища и OLTP-систем существенно снижает нагрузку на последние со стороны аналитических приложений; тем самым производительность существующих систем не ухудшается, а на практике происходит уменьшение времени отклика и улучшение доступности систем.

Вместе или вместо ХД могут создаваться и использоваться витрины данных (ВД). Есть следующие варианты трактовки данных понятия витрины (киоска) данных:

усеченное ХД – т. е. хранилище, относящееся только к некоторой тематике (например, экономика и финансы предприятия, производство продукции и т. д.);

хранилище, которое не обладает в полной мере всеми свойствами, перечисленными выше;

ХД, создаваемое для решения частной задачи и уничтожаемое после того, как необходимость в нем отпала.

В современных АС ХД и ВД имеют реляционную структуру и являются источниками данных для средств оперативной аналитической обработки и интеллектуального анализа данных.

Основные принципы оперативной аналитической обработки данных сформулировал в 1993 г. Е. Ф. Кодд – автор теории реляционных БД. Позже его определение было переработано в так называемый тест FASMI, требующий, чтобы OLAP-приложение предоставляло возможности быстрого анализа разделяемой многомерной информации:

Fast (быстрый) – анализ должен производиться одинаково быстро по всем аспектам информации;

Analysis (анализ) – должна быть возможность осуществлять основные типы числового и статистического анализа, предопределенного разработчиком приложения или произвольно определяемого пользователем;

Shared (разделяемой) – множество пользователей должно иметь доступ к данным, при этом необходимо контролировать доступ к конфиденциальной информации.

Multidimensional (многомерной) – это основная, наиболее существенная характеристика OLAP;

Information (информации) – приложение должно иметь возможность обращаться к любой нужной информации, независимо от ее объема и места хранения.

Моделью представления данных в OLAP служит многомерный куб (или множество связанных кубов, образующее гиперкуб). Многомерность в OLAP-приложениях может быть разделена на три уровня:

многомерное представление данных — средства конечного пользователя, обеспечивающие многомерную визуализацию и манипулирование данными (слой многомерного представления абстрагирован от физической структуры данных и воспринимает данные как многомерные);

многомерная обработка – язык формулирования многомерных запросов и средство, которое может выполнить такой запрос;

многомерное хранение — средства физической организации данных, обеспечивающие эффективное выполнение многомерных запросов.

Таким образом, применение OLAP предполагает построение многомерных кубов данных (МКД) с выполнением агрегации значений, помещаемых в ячейки куба, отображение МКД и манипулирование ими.

Следует отметить, что даже применение только OLAP дает существенный выигрыш в эффективности управления в самых различных областях.

Интеллектуальный анализ данных предполагает применение разного рода математических методов, перечисленных выше, для выполнения содержательной обработки данных с целью получения формальных решений задач анализа и прогнозирования. Источниками исходных данных для различных средств ИАД могут служить как реляционные БД ХД, так и МКД OLAP.

Очевидно, что методология ИАД существенно шире, чем только прецедентный прогноз и синергетика – обзорные сведения об этих методах приведены для того, чтобы подчеркнуть принципиально новые возможности, которые открывают современные средства хранения и обработки данных.

АИС является автоматизированной информационной системой, ориентированной на задачи поддержки принятия решения. В общем случае АИС может рассматриваться как организационно-технический комплекс автоматизированной поддержки принятия решений, создаваемый в интересах решения задач стратегического анализа ситуаций и прогнозирования их развития в различных областях управленческой и исследовательско - аналитической деятельности.

Основными условиями, необходимыми для реализации содержательных возможностей АИС по сбору и аналитическому анализу информации, являются (рис. 5.6):

наличие совокупности математических методов, адекватных задачам анализа информации и специфике обрабатываемых данных (функциональное наполнение АИС, составляющее ее аналитическую оболочку);

организация хранения больших массивов фактографических и документальных сведений и оперативного доступа к ним с использованием гибкой системы запросов (информационная подсистема АИС);

организация сбора и хранения сведений, характеризующих управляемый объект и среду его функционирования, с требуемой достоверностью, полнотой и непротиворечивостью (средства сбора информации);

Рис. 5.6. Основные компоненты АИС

наличие совокупности программных и технических средств, обеспечивающих функционирование АИС (вычислительная среда АИС).

Средства АИС, обеспечивающие выполнение указанных выше условий, можно кратко охарактеризовать следующим образом.

Теоретическую и технологическую базу для создания функционального наполнения (аналитической оболочки) АИС образуют технологии интеллектуального анализа данных и гибридного интеллекта, некоторые аспекты которых описаны выше. Таким образом, в качестве алгоритмического инструментария АИС выступает комплекс методов и средств стратегического анализа и прогнозирования сложных нестационарных процессов (включая процессы со скачкообразным изменение состояния), основанный на сочетании классических методов прогнозирования (экстраполяция, статистические методы предсказания) и новых, но уже известных кибернетических методов прогностики (эволюционное моделирование, нейронные сети и т. д.).

Создание информационной подсистемы базируется на концепции и технологии ХД и OLAP.

Ключевыми особенностями этих технологий являются: ориентация на поддержку хранения больших массивов данных; специальная структура хранения данных (в частности, топологии "звезда" и "снежинка"), что облегчает формирование запросов на выборку данных; разделение информационных массивов, используемых для оперативной обработки и для решения задач анализа; предварительное агрегирование многомерных данных, что обеспечивает быстрый переход от обобщенных к детализированным данным и обратно.

Реализация вычислительной среды и средств сбора информации базируется на известные технологии и средства, и осуществляется в рамках той метасистемы, по отношению к которой АИС осуществляет решение задач аналитической службы.

Таким образом, АИС как СППР интегрирует ряд технологий и средств, схематично показанных на рис. 5.7.

Процессы функционирования АИС, являющиеся основой для синтеза ее функциональной структуры, определяются в рамках классического выделения управляющего, основного (содержательного) и обеспечивающего процессов, и формализуются как три взаимосвязанных уровня функционирования АИС:

стратегический (управляющий) – уровень управления охватываемой предметной областью и классом потенциально решаемых задач в рамках динамически формулируемых конкретных проблем анализа и прогностики, представляющий собой процесс управления структурой и содержанием хранимых предметных сведений (включая процессы их сбора), а также множеством программно реализованных математических методов, обеспечивающих решение задач ИАД;

Рис. 5.7. "Пирамида" средств АИС

оперативный (основной) – уровень отдельных задач в рамках общей проблемы, на котором по отношению к каждой задаче выполняются этапы ее постановки, анализа и решения;

технологический (обеспечивающий) – уровень функционирования служб АИС, составляющих ее технологические профили (телекоммуникации, разграничение доступа, защита информации, архивация результатов решения задач и т. д.).

В качестве примера можно привести следующий вариант организации процесса решения задач, т. е. вариант организации функционирования АИС на оперативном уровне (рис. 5.8):

вербальная постановка задачи, подлежащей решению, лицом, принимающим решения (ЛПР), и ее дальнейшая формализация предметным экспертом и экспертом - аналитиком;

выборка данных, необходимых для решения задачи, из хранилища в витрины данных (возможно – многократно);

Рис. 5.8. Схема процесса решения задач в АИС

анализ структуры выбранных данных, по результатам которого осуществляется выбор математических моделей и схемы решения задачи;

формирование прогнозов, вариантов решений и их экспертизу – с использованием множества виртуальных сценариев.

При этом предполагается следующее разграничение функций пользователей АИС:

лицо, принимающее решения (ЛПР) – руководитель, осуществляющий постановку проблем и задач и являющийся для АИС конечным потребителем получаемых результатов;

предметный эксперт (ПЭ) – специалист предметной области, несущий основную нагрузку по определению состава и содержательному анализу предметных сведений, а также результатов их обработки;

эксперт-аналитик (ЭА) – специалист, осуществляющий выбор методик решения задач и выполняющий их решение на основе формальных методов обработки;

администратор данных (АД) – лицо, выполняющее действия по сбору необходимых предметных сведений и помещению их в информационное хранилище;

администратор системы – лицо, осуществляющее управление службами АИС, ее конфигурированием и содержательным наполнением (на рис. 5.8 не показан).

Примечательно, что отмеченная выше проблема взаимодействия ПЭ и ЭА решается в АИС путем их совместного участия в решении задач с разграниченными функциями и последовательным уточнением и согласованием содержания каждого этапа.

Детальная архитектура любой АИС и методология ее создания определяются конкретными техническими решениями, которые специфичны для каждого конкретного разработчика.

Таким образом, аналитические технологии и разного рода АИС, построенные как средства реализации этих технологий, на сегодня являются наиболее современным и концентрированным выражением инструментария решения задач анализа, прогностики и поддержки принятия решений в целом.

Привлекательность применения АИС помимо всего прочего обусловлена тем, что в сложных, нестационарных ситуациях, обусловленных большим числом разнообразных гетерогенных взаимосвязанных факторов, эксперты, как правило, не находят рациональных решений, их мнения оказываются субъективными и противоречивыми. В большинстве случаев мозг эксперта не способен экстраполировать развитие ситуаций, находящихся под воздействием более 3-5 независимых факторов. Для взаимосвязанных воздействий даже опытный эксперт способен корректно учесть не более трех факторов влияния. В то же время большинство реальных стратегических ситуаций требуют учета, как минимум, от 6 до 20 значимых факторов влияния.

Можно ожидать, что внедрение аналитических информационных систем позволит существенно повысить крайне низкий технологический уровень существующих и вновь создаваемых аналитических служб и центров за счет внедрения современных аналитических технологий, поддержанных соответствующими инструментальными средствами анализа данных. Однако следует отметить, что: содержательное наполнение аналитических информационных систем в большой степени зависит от специфики предметной области и объекта управления, однако формальных методов его определения на сегодняшний день не существует, и выбор конкретных математических методов и обрабатываемых данных осуществляется исключительно эвристически с последующим их уточнением в ходе применения системы; направление исследований, связанное с созданием аналитических информационных систем еще находится в начальной стадии своего развития, оно определилось и бурно развивается с середины 90-х годов, поэтому в настоящее время имеются только лишь отдельные образцы соответствующих инструментальных средств и некоторый опыт их создания и применения.