Оценка производительности вычислительных систем

Основы для сравнения различных типов вычислительных систем между собой дают стандартные методики измерения производительности. В процессе развития вычислительной техники появилось несколько таких стандартных методик. Они позволяют разработчикам и пользователям осуществлять выбор между альтернативами на основе компьютерных показателей, что дает возможность постоянного прогресса в данной области. Единицей измерения производительности вычислительной системы является время. ЭВМ, выполняющая тот же объем работы за меньшее время, является более быстрой. Для измерения времени работы процессора на данной программе используется специальный параметр CPU time, который не включает в себя время ожидания ввода-вывода или время выполнения другой программы.

CPU time может делиться дальше на время, потраченное ЦП непосредственно на выполнение программы пользователя, и время центрального процессора, затраченное операционной системой на выполнение заданий, затребованных программой, и называемое системным временем. В ряде случаев системное время СР игнорируется из-за возможной неточности изменений, выполняемых самой системой, а также из-за проблем, связанных со сравнением производительности ЭВМ с разными операционными системами. однако системный код на некоторых ЭВМ может являться пользовательским кодом на других ЭВМ.

Дискретные временные события называют тактами синхронизации, периодами синхронизации или циклами синхронизации: clock time, tks, periods, cycles.

MIPS (Mega Instructions Per Second).

В общем случае MIPS есть скорость команд в единицу времени, т.е. для любой программы MIPS есть просто отношение количества команд в программе ко времени ее выполнения. Таким образом, производительность определяется как обратная ко времени выполнения величина.

Положительной стороной МИПС является то, что эту характеристику можно понять простому пользователю. Минусы:

1. МИПС зависит от набора команд процессора, что затрудняет сравнение по МИПС ЭВМ, имеющих разные системы команд.
2. даже на одной и той же ЭВМ МИПС изменяется от программы к программе.
3. МИПС может меняться по отношению к производительности в противоположную сторону.

Классическим примером для последнего случая является рейтинг МИПС для ЭВМ, в состав которой входит математический сопроцессор

MFLOPS (Mega FLoating Operations Per Second).

Измерение производительности ЭВМ при решении научно-технических задач, в которых существенно используется арифметика с плавающей точкой, всегда вызывала особый интерес. Именно для таких вычислений впервые и встал вопрос об измерении производительности. А по достигнутым показателям часто делались выводы об общем уровне разработок ЭВМ данным производителем. Как единица измерения MFLOPS предназначена для оценки производительности только операций с плавающей точкой, и поэтому применима только в этой ограниченной области.

Одна и та же программа, работающие на различных типах ЭВМ, может выполнить различное количество команд, но одно и то же количество операций с плавающей точкой. Именно поэтому рейтинг MFLOPS предназначается для справедливого сравнения различных типов ЭВМ между собой.

Однако, как и любая другая единица измерения, рейтинг MFLOPS для отдельной программы не может быть обобщен на все случаи жизни, чтобы представлять единственную единицу измерения производительности.

Вторая проблема связана с тем, что наборы операций с плавающей точкой не совместимы на различных ЭВМ.

Другая проблема в том, что рейтинг MFLOPS меняется не только на смеси целочисленных операций (с плавающей точкой), но и на смеси быстрых и медленных операций с плавающей точкой.

Решение проблем заключается в том, чтобы взять каноническое или нормализованное число операций с плавающей точкой и затем поделить его на время выполнения.

SPEC.

Создание пакетов тестов, базирующихся на реальных прикладных программах широкого круга пользователей и обеспечивающих эффективную оценку производительности ЭВМ была осознана большинством крупнейших производителей вычислительных систем, которые в 1988г учредили бесприбыльную корпорацию SPEC.

Основной целью этой организации является разработка и поддержка стандартизованного набора специально подобранных тестовых программ для оценки производительности новейших поколений ЭВМ.

Разработанные тестовые пакеты являются де-факто стандартами для оценки производительности современных МП, ЭВМ и системного ПО.

TPC (Transaction Performance Council)

По мере расширения использования вычислительных систем при обработке транзакций в сфере бизнеса все боле важной становится возможность справедливого сравнения систем между собой.