Анализ адекватности имитационной модели

Прежде всего, представляет интерес рассмотрение такого важного этапа создания ИМ, как проверка ее адекватности. Под адекватностью обычно понимают степень соответствия модели реальному явлению или объекту, для описания которого она строится. С другой стороны, создаваемая модель безусловно ориентирована на исследование заданного набора свойств исследуемого объекта. Поэтому можно считать, что адекватность модели определяется как степенью соответствия ее системе – оригиналу, так и общему замыслу и целям моделирования.

Существо этапа проверки адекватности заключается в проведении предварительных экспериментальных исследований ИМ системы – серии специально организованных испытаний, направленных на анализ ее пригодности к использованию по основному назначению.

Прежде всего, необходимо отметить, что невозможно строго доказать, что та или иная имитация является правдивым отображением системы-оригинала. Хотя ИМ создает обманчивое впечатление реальности, в ней, как правило, присутствуют ошибки. Эти ошибки бывают трех типов: ошибки и неточности исходной математической модели объекта моделирования; ошибки, возникающие при разработке общего моделирующего алгоритма; ошибки программного продукта, реализующего ИМ. Если ошибки первого типа в принципе могут быть проанализированы и устранены, то факт наличия ошибок второго и третьего типов в окончательном варианте программы полностью исключить нельзя. Для их устранения требуется значительные затраты времени, связанные с проведением тестовых испытаний модели, и наличия специальных навыков разработчика. Даже в нормативных документах, относящихся к вопросам эксплуатации наиболее надежных автоматизированных систем управления военного назначения, допускается возможность проявления ошибок в используемом программном обеспечении. В соответствии с существующими взглядами, вероятность возникновения ошибок в процессе эксплуатации программных продуктов отлична от нуля на протяжении всего жизненного цикла системы. Соответствующая зависимость носит, как правило, экспоненциально убывающий характер.

Анализируя и обобщая известные методы и приемы, имеющие отношение к рассматриваемому вопросу, можно сгруппировать их в следующие.

1. Метод предельных точек, основанный на проведении модельного эксперимента для вариантов исходных данных, обеспечивающих функционирование ИМ в таких режимах, для которых конечный результат является либо тривиальным, либо известным, либо может быть относительно просто получен аналитическими методами. В частности, допускается замена некоторых стохастических элементов модели детерминированными, при которых можно получить «ожидаемые» результаты. Рекомендуется также проводить исследования «непрерывности» реакции модели по отношению к изменениям исходных данных в диапазоне возможных значений.

2. Метод проверки преобразований от входа к выходу (метод «честного прочтения»), основанный на использовании специальных датчиков (препроцессоров и постпроцессоров) на входах и выходах основных модулей и узловых точек ИМ. Получаемые от них данные подвергаются анализу с целью выявления логических ошибок в тексте программы.

Два следующих метода проверки адекватности ИМ являются более строгими и базируются на использовании аппарата математической статистики для анализа данных получаемых в ходе тестирования модели.

Здесь следует напомнить ряд положений и понятий. Известно, что основной задачей математической статистики является проверка гипотезы относительно достоверности той или иной вероятностной модели данных, получаемых в ходе наблюдения. Если эти данные составляют выборку и₁,...,и_п, то для решения подобной задачи вычисляется некоторая функция у = у(и₁,..., u_n), обладающая статистической устойчивостью при их описании. Такая функция называется статистикой, а ее конкретный вид зависит от используемого критерия, т. е. правила проверки гипотезы. Каждая статистика также является случайной величиной, а ее распределение имеет известный вид для гипотезы Н₀, которая проверяется в рамках используемого критерия (рисунок 12.1).

Область S_кр(α) на рисунке 12.1 называется критической: при попадании величины у в эту область гипотеза Н₀ отвергается. Величина α на рисунке 9.1 есть вероятность ложного отбрасывания гипотезы Н₀ (ошибка первого рода), которая называется уровнем значимости. Говорят, что критическая область проверяет гипотезу Н₀ на уровне значимости а. Если статистически определена конкурирующая с гипотезой Н₀ гипотеза H₁ (в общем случае их может быть много), то вводится вероятность β ложного принятия гипотезы Н₀ (ошибка второго рода). Величина 1 – β называется мощностью критерия.

Рисунок 12.1 – Формирование вероятностей ошибок при проверке гипотез

Продолжая перечисление основных методов проверки адекватности, необходимо отметить следующие.

3. Метод верификации формируемых в ходе имитационного моделирования данных с данными, получаемыми в ходе натурных испытаний или на других моделях. Для повышения достоверности сравнения данных, полученных тем или иным образом, привлекается аппарат математической статистики и его многочисленные критерии проверки статистических гипотез.

Данный подход иллюстрирует следующая процедура обработки данных. Проводят и, опытов в ходе натурных испытаний и получают – значения данной характеристики исследуемой системы, а также проводят п₂ опытов на ИМ с результатами . Далее для сравнения результатов натурного эксперимента и результатов моделирования вычисляют оценки математических ожиданий и дисперсий:

Основой проверки гипотезы является вычисление разности , которая имеет дисперсию

.

Так как величины и являются статистически независимыми, то для анализа можно использовать t -статистику (критерий Стьюдента):

В данном случае эта статистика имеет п₁+п₂ – 2 степеней свободы. Задаваясь величиной достоверности при проверке гипотезы Н₀ об адекватности верифицируемых данных 1-α = 0,95, по таблицам распределений можно найти критическое (пороговое) значение как функции α. При использовании данного критерия, если выполняется неравенство , то принимается гипотеза о совпадении данных, причем если данные на самом деле одной природы, то . В данном случае критическая область определяется соотношением .

Для решения подобного рода задач используются также другие критерии и алгоритмы обработки данных, широко представленные в литературе по математической статистике. Например, для сравнения результатов по оценкам дисперсий регистрируемых данных моделирования используется известный критерий Фишера.

4. Метод получения статистически значимых выводов относительно данных имитационного моделирования. Данный метод ориентирован, прежде всего, на анализ степени однородности данных, получаемых в ходе повторяющейся серии имитаций. Для анализа также могут привлекаться априорные сведения о характере распределения оцениваемых на выходе модели величин, что позволяет свести проверку адекватности к проверке гипотез о соответствии распределения данных моделирования и выходных характеристик реальной системы. Решение этой задачи далее будет подробно рассмотрено в подразделе, посвященном обработке результатов ИМ.

Простейшим способом проверки адекватности в рамках данного метода является анализ количественного содержания аномальных результатов в получаемой совокупности (выборке) при одних и тех же исходных данных. При этом в ходе эксперимента оценивается математическое ожидание и дисперсия

где п – объем выборки (количество однородных испытаний); и_i – получаемые результаты моделирования . Гипотеза H ₀ в данном случае состоит в том, что все наблюдения и₁,...,и_п порождаются одной и той же величиной (имеют одинаковое математическое ожидание). Конкурирующая с ней гипотеза H ₁, состоит в том, что, как минимум, одно из наблюдений в имитационном эксперименте порождается случайной величиной, имеющей смещенное относительно остальных наблюдений математическое ожидание. Исходя из того, что результаты моделирования должны быть однородны в статистическом смысле, принятие гипотезы H ₁ означает наличие ошибки в реализованной ИМ. В соответствии с критерием Н. В. Смирнова в полученной выборке находят наблюдение и_*, максимально отклоняющееся от оценки . Такое наблюдение и_*, считается аномальным, если выполняется следующее неравенство:

где – критическое (пороговое) значение статистики ξ, вычисляемое для фиксированного значения величины 1 – α, определяющей надежность определения аномального результата. В соответствии с критерием Н. В. Смирнова, если величина ξ превосходит , то с вероятностью, большей 1 – α, можно считать сомнительный результат грубой ошибкой. Если п > 50, то при α < 0,2 можно рассчитать величину в виде:

где а ψ(γ) – функция, обратная функции гауссового распределения. Она определяется на основе следующих уравнений:

Рассмотренный пример иллюстрирует возможность привлечения статистических критериев для проверки гипотезы об адекватности модели (или ее некоторого компонента) на основе данных, получаемых в ходе специально организованных тестовых испытаний ИМ.

Необходимо отметить, что вопрос проверки адекватности ИМ имеет две стороны: приобретения уверенности в том, что модель в интересующем нас аспекте ведет себя таким же образом, что и реальная система; определения в ходе специальных исследований корректности и достоверности получаемых на модели данных. Обе эти составляющие в совокупности сводятся к задаче нахождения равновесия между ценой каждого действия, связанного с проверкой адекватности, и последствиями ошибочных заключений.