Общая структура SMP-серверов

Конструктив МСМ в z10, имеет размер 95x95 мм, включает пять микросхем СР и две микросхемы SC (System Controller). Кэш L2 содержится в микросхеме SC. Следующий в иерархии конструктива элемент, так называемая PU-книга, помимо МСМ содержит до 48 модулей DIMM, а также 8 слотов для плат ввода-вывода (концентратор IOH, I/O Hub) [3]. Напомним, что контроллер памяти и контроллер шины ввода-вывода (GX) встроены в СР.

Микросхемы SC выполняют функции концентраторов, связывающих СР внутри PU-книги и PU-книги между собой. Таким образом, топология межсоединения в z10 – полносвязная, на базе коммутаторов, в то время как в z9 применялась с точки зрения производительности менее эффективная топология двойного кольца.

В сравнении z10 с большими SMP-серверами Sun Fire E25k, HP Integrity Superdome, а также с серверами IBM на базе Power6 отличительной особенностью z10 является наличие огромного кэша L2 вне процессорных микросхем. Такая трехуровневая система кэш-памяти большой емкости приводит к тому, что системные шины в z10 в типичных ситуациях нагружены менее чем на 30% [2].

По сравнению с z9, в z10 число основных типов микросхем уменьшилось до двух (SC и СP). SC обеспечивает когерентное межсоединение 20 процессорных ядер из PU-книги и их общий кэш L2, а также когерентное соединение PU-книг между собой (всего в z10 может быть до четырех PU-книг, то есть архитектура допускает до 80 PU) в полносвязную систему с межсоединением типа «точка-точка». Эта когерентность охватывает также и подсистему ввода-вывода.

Когерентность кэш-памяти внутри PU-книги основывается на разработанном IBM расширении протокола MOESI c добавлением новых состояний. Его реализация, как и поддержка когерентности на уровне межсоединения PU-книг, рассмотрены в [2].

Суммарная пиковая пропускная способность интерфейсов СР с SC в z10 уменьшилась до 47 Гбайт/с против 54,4 Гбайт/с для z9. Это вызвано появлением в z10 кэша L1.5 и уменьшением числа промахов в кэше, не разрешаемых в пределах СР. Зато более чем в два раза возросла пропускная способность чтения из локальной оперативной памяти в PU-книге (до 68,3 Гбайт/с) и пропускная способность передачи данных между PU и межсоединением PU-книг (до 70,3 Гбайт/с).

Оперативная память в z10 размещается на буферизованных модулях DIMM DDR2-533 собственного производства IBM, так что при емкости модуля в 8 Гбайт в четырех PU-книгах на 192 слотах DIMM в z10 EC можно получить емкость оперативной памяти в 1,5 Тбайт. В системе z10 BC применяются модули DIMM емкостью 2/4 Гбайт при максимальной емкости оперативной памяти в 256 Гбайт. Контроллер памяти в СР имеет четыре канала, но общая схема построения памяти сложна (в частности, применяется каскадирование). Кроме того, один СР из каждого МСМ не имеет прямого соединения с памятью.

Повторим, в z10 задержки в кэше L1 меньше, чем в z9. Задержка обращения в кэш L1.5 составляет около 3 нс, в локальный кэш L2 данной PU-книги – 20 нс (88 тактов), а обращение в удаленный кэш L2 другой PU-книги требует 52 нс, что близко к z9 (хотя число тактов в z10 больше из-за более высокой тактовой частоты СР). Также близки к z9 задержки оперативной памяти: 134 нс (591 такт) – для чтения из локальной памяти, 162 нс (712 тактов) – для чтения из удаленной памяти вне данной PU-книги [2].

Это отличные результаты для полностью сконфигурированной системы. В собственных материалах IBM приводятся данные о задержке оперативной памяти Sun Fire E25k (440 нс) и HP Integrity Superdome (395 нс). Методика корректного сопоставления задержек памяти в системах SMP/ccNUMA – область научных дискуссий, и на сказанном выше мы остановимся.