Принципы оценки производительности систем

Различают 3 цели исследования производительности:

1. Оценка для выбора ВС среди альтернатив для приобретения.

2. Планирование производительности – оценка производительности разрабатываемой ВС (компонента ВС) (Проектирование с заданной производительностью)

3. Контроль производительности – сбор и накопление данных о работе имеющейся ВС для прогноза влияния на производительность каких-то планируемых изменений.

В общем случае для оценки производительности необходимо:

1. Предсказать характер прикладных задач, решаемых на ВС.

2. Предсказать нагрузку на ВС.

Возможные направления использования результатов оценки:

1. Наилучшее конфигурирование ВС.

2. Подбор стратегий управления ресурсами ВС.

3. Настройка параметров ВС на требования пользователей.

Показатели производительности:

1. Средний цикл выполнения заданий – время от начала поступления задания в систему до его выполнения и выдачи результатов – для систем пакетной обработки.

2. Время ответа – время от момента ввода некоторых данных с клавиатуры до момента начала ответа – для диалоговых систем.

3. Время реакции системы – время от момента ввода данных до момента выделения времени ЦП – для систем реального времени.

4. Дисперсия времени ответа/времени реакции – мера разброса от среднего – мера предсказуемости.

5. Пропускная способность – количество задач/запросов/транзакций в единицу времени.

6. Загрузка ресурсов ВС – неоднозначный показатель – для дорогих устройств.

Методы оценки производительности:

1. Измерение элементарных времен – измерение аппаратной производительности – количество команд в единицу времени.

2. Измерение времени выполнения смеси команд – в зависимости от характера задач смесь различна.

3. Измерение времени образцовой программы – типичной для данной системы – используются для построения оптимизирующих компиляторов.

4. Измерение времени выполнения измерительной программы, типичной для решаемого класса задач – применяется при миграции на другие ВС или ОС.

5. Измерение времени выполнения синтетических программ – совмещают черты образцовых измерительных – используется при смене ВС (с другой архитектурой).

6. Аналитические модели – математическая формализация процесса решения задач – позволяют быстро и наглядно увидеть плюсы и минусы ВС.

Этапы моделирования:

a. Анализ системы

b. Формализация (идеализация объекта) – решаем вопрос об адекватности

c. Решение (аналитические соотношения, численные результаты) – оба способа могут не подойти (возврат на этап анализа)

d. Интерпретация результатов – не всегда возможно (ограничение диапазона значений, для которых работает формализация, возврат на этап анализа)

Среди аналитических моделей различают:

a. Вероятностные модели (событийные) – дерево исходов поведения системы

b. Модели систем массового обслуживания – потоковые модели, изучается влияние интенсивности потоков на вычислительные характеристики

c. Конвейерные модели

Модели взаимно дополняют друг друга.

7. Имитационное моделирование ВС – позволяет исследовать трудно формализуемые моменты при аналитическом моделировании.

Все эти методы позволяют выявить:

1. Узкие места системы

2. Насыщение ресурсов

Различают пиковую и реальную производительность.

Пиковая достигается при:

1. Бесконечной последовательности несвязанных команд, которые не конфликтуют при доступе к памяти.

2. Все операнды выбираются из КЭШа первого уровня.

3. Все команды выбираются из КЭШа команд первого уровня.

При оценке производительности на тестах возникает 3 проблемы:

1. Проблема достоверности оценок (выбор показателей, которым можно доверять)

2. Проблема адекватности полученных оценок (выбор тестов, которые дадут наиболее точную характеристику вычислителя при решении заданного класса задач).

3. Проблема интерпретации оценок (правильное истолкование результатов тестирования).

Существует 3 группы тестов:

1. Тесты производителей средств вычислительной техники (СВТ)

Сравнение однотипных компьютеров. Оценивают производительность ВС с одной архитектурой, но с различными средствами реализации.

#Тест ICOMP – сравнение ВС с архитектурой x86 (Intel, AMD, IBM)

2. Стандартные тесты

Создается независимыми аналитиками. Позволяет сравнивать производительность ВС с различной архитектурой.

#Тест Linpack (Джек Донгарра) – тест сравнивает многопроцессорные ВС при решении научных задач

ТОП-500

#SPEC (Standard Performance Evaluation Corporation) – группа экспертов от различных производителей средств вычислительной техники

#TPC (Transaction Processing Performance Council) – тестирование класса задач обработки данных в ИС.

3. Пользовательские тесты

Учитывают конкретную специфику применения ВС.

ПТ создаются крупными компаниями (интеграторами), которые специализируются на внедрении компьютерных технологий.

ПТ применяются для выбора ВС и ПО для решения определенных прикладных задач.