Мини-суперкомпьютер для томографии

Задачей исследовательской группы ASTRA из университета Антверпена является разработка вычислительных методов томографии (восстановление изображения). Томография — это техника, используемая в медицинских сканерах, применяемая для создания трёхмерных изображений внутренних органов человека на основе большого количества рентгеновских фотографий, снятых под разными углами. Группа ASTRA разрабатывает новые техники реконструкции, которые дают лучшее качество, по сравнению с классическими.

Такие продвинутые техники требуют очень сложных расчётов, выполнение которых на обычных системах крайне медленное. Восстановление изображения с типичным разрешением трёхмерного снимка в 1024 × 1024 × 1024 элементов займёт несколько дней вычислений на обычном ПК. Но эти вычисления хорошо распараллеливаются, поэтому зачастую используются кластеры на основе сотен ПК. Занимающие много места, дорогие сами по себе и в использовании (электроэнергия, техническое обслуживание и т.п.). Исследователи группы ASTRA решили попробовать перенести часть своих вычислений по восстановлению трёхмерных изображений томографии на графические процессоры. Как оказалось, GPU отлично подходят для подобных вычислений, им хватает и одинарной точности вычислений с плавающей точкой, да и другие ограничения GPU не мешают.

По оценке исследователей из ASTRA, при сравнении в их задаче одного GPU с одним CPU, видеочип оказывается до 40 раз быстрее. Но для полноценного расчёта даже одного GPU мало, время вычислений остаётся слишком большим. Поэтому для самых требовательных задач был сделан настольный суперкомпьютер FASTRA, содержащий четыре двухчиповые видеокарты NVIDIA GeForce 9800 GX2. Параллельная работа восьми GPU позволяет FASTRA быть столь же быстрой в данных томографических задачах, что и 350 современных универсальных процессоров! При этом система стоит в десятки, а то и сотни раз меньше!

Для FASTRA была выбрана платформа AMD с возможностью установки четырёх видеокарт GeForce 9800 GX2. Технология SLI для такой работы не используется, NVIDIA CUDA обеспечивает параллельную работу всех GPU без этого. В качестве операционной системы для FASTRA была выбрана 64-битная MS Windows XP. Сделано это по трём причинам: для использования 8 ГБ системной памяти; из-за того, что у NVIDIA лучше драйверы под Windows, чем под Linux; и потому, что Windows Vista на тот момент не поддерживалась архитектурой NVIDIA CUDA. Для разработки использовали Visual Studio 2008, основной CPU код написан на C++, а GPU код — на NVIDIA CUDA.

Наибольшей сложностью для разработчиков системы стала организация охлаждения четырёх графических карт, которые и по отдельности потребляют много энергии и выделяют много тепла, а тут их целых четыре в почти обычном корпусе. Им даже пришлось оставить открытой боковую стенку. В итоге, в режиме простоя температура чипов составляет около 55 градусов, при полной нагрузке она возрастает до 86 градусов.

По словам участников группы ASTRA, одна система на основе восьми графических процессоров NVIDIA обеспечивает более высокую производительность, по сравнению с тремя сотнями процессоров Intel Core 2 Duo, работающими на частоте 2,4 ГГц. Это не говоря уже о сравнении стоимости и потребления энергии.

Для оценки возможностей FASTRA приводится диаграмма, на которой показано время, затрачиваемое на реконструкцию изображения по данным томографа. FASTRA — это система на четырёх GeForce 9800 GX2 (верхнее значение соответствует работе GPU на повышенной частоте, среднее — в штатном режиме), а CalcUA — суперкомпьютер, состоящий из 256 узлов, каждый по два процессора AMD Opteron 250 (2,4 ГГц, 1 МБ L2), купленный университетом весной 2005 года за 3,5 миллиона евро.

Исследователи уверяют, что использовали оптимизированный для CPU код полной реконструкции изображения (разрешение рассчитываемого изображения равно 1024 × 1024 пикселей, число проекций — 1024), используемый ими уже несколько лет, и запустили его на одном ядре, аналогичном применяемому в CalcUA. Затем поделили полученное значение на 512, получив теоретическую производительность суперкомпьютера на своей задаче. Для GPU было иначе — они запускали всю задачу на восьми чипах параллельно. Также проверили и систему, работающую на повышенной частоте (1,8 ГГц вместо 1,5 для ALU).

Как вы можете убедиться — результаты потрясающие. Настольная система FASTRA в этой задача обгоняет суперкомпьютер, состоящий из сотен узлов с двумя процессорами каждый. То есть, для узкого круга приложений, подобных рассматриваемому, результаты большого суперкомпьютера могут быть достигнуты за гораздо меньшую цену настольным ПК с несколькими GPU. Конечно, Opteron 250 сейчас далеко не самый лучший CPU. Но даже при сравнении с верхними четырёхъядерными моделями Intel Core 2, результат системы на основе GPU будет просто недостижим в этой задаче [6].