Вычислительные комплексы

а) многопроцессорные комплексы (МПК)

Рассмотренные типы суперЭВМ, реализующие параллелизм на уровне либо команд, либо данных и ориентированные хотя и на массовые, но довольно узкие классы задач, очевидно, не могут удовлетворить потребности в высокоскоростной обработке данных в общем случае. Основная часть задач управления и научных исследований не может быть однозначно отнесена к какому-либо одному классу. В ряде задач безусловно удается выделить подзадачи, принадлежащие тому или иному классу. И если такая подзадача по ресурсоемкости является доминирующей среди других, то и вся задача вполне обоснованно может быть отнесена к тому же классу. Однако для использования специализированной суперЭВМ с целью решения подобной задачи указанного факта еще недостаточно. Необходимо выяснить ее удельный вес в общем перечне задач, подлежащих решению на данной вычислительной системе.

Нетрудно видеть, что сформировать достаточно мощный поток заявок на решение однотипных задач возможно лишь в условиях крупных пунктов управления либо исследовательских центров. Кроме того, использование специализированных суперЭВМ становится оправданным в вычислительных сетях с их способностью мультиплексировать потоки однородных заявок. В остальных случаях, а тем более, когда не удается достаточно определенно классифицировать решаемые задачи, применение названных суперЭВМ оказывается проблематичным.

Очевидным выходом из положения является универсализация суперЭВМ, что приводит к необходимости создания и внедрения в практику автоматизированного управления и научных исследований параллельных ЭВМ класса МКМД, получивших наименование, как уже указывалось, вычислительных комплексов (ВК). Распараллеливание вычислительного процесса в этих комплексах на двух уровнях – и команд, и данных – позволяет наилучшим образом решать задачи со слабо выраженной однородностью вычислительных процедур, что было одним из основных условий обеспечения стационарности режима функционирования, а следовательно, и достижения максимальной производительности в векторных и матричных системах.

Вычислительные комплексы строятся на базе универсальных процессоров. Их специализация является оправданной в очень немногих случаях и чаще всего сводится к построению функционально распределенных систем, в которых отдельные процессоры используются эпизодически в зависимости от характера решаемого фрагмента задачи.

Совокупность всех процессоров образует аналог операционного поля матричных систем и является основным элементом комплекса, что и послужило мотивом для наименования его многопроцессорным (МПК). Остальные центральные устройства, обеспечивающие хранение и ввод-вывод данных, также строятся по модульному принципу, то есть представляются совокупностью независимых автономных модулей оперативных запоминающих устройств и каналов ввода-вывода, чаще называемых одноименными процессорами (ПВВ). Этим достигается тот же эффект, что и в ранее рассмотренных суперЭВМ – повышение интенсивности формирования потоков команд и данных с целью исключения неоправданных простоев процессоров.

Отсутствие априорной ориентации МПК на некоторый класс задач не дает никаких оснований для ограничения схемы взаимного доступа различных устройств. Поэтому многопроцессорные комплексы строятся по полнодоступной схеме. В частности в них обеспечивается доступность любому центральному процессору (ЦП) всех модулей основной оперативной памяти (МОП) и ПВВ. Кроме того, каждому процессору ввода-вывода предоставляется право обращения в любой модуль памяти и любое периферийное устройство (ПУ).

б) системы класса ОКМД (матричные суперЭВМ)

Адаптация магистральных ЭВМ преимущественно на обработку векторных данных позволила радикальным образом поднять эффективность решения хотя и достаточно узкого, но весьма массового класса задач. Однако в практике автоматизации процессов управления и проведения научных исследований помимо задач векторной алгебры можно выделить еще целый ряд специфических классов задач, массовый характер которых дает основания ставить вопрос о создании ЭВМ, специально ориентированных на их решение. Это задачи матричной алгебры, быстрого преобразования Фурье, математической статистики, спектрального анализа, линейного и динамического программирования, решения уравнений в частных производных и т.п. С точки зрения алгоритмизации названные задачи обладают известной общностью, состоящей в том, что все они могут быть сведены к первому из названных классов – задачам матричной алгебры.

Причина этого состоит в том, что все подобные задачи связаны с обработкой массивов данных и допускают предельно возможную степень параллелизма, ибо все элементы массива, как правило, должны подвергаться одновременно одной и той же операции. Последнее является характерной особенностью процедур обработки матриц и должно быть обеспечено в рассматриваемых ЭВМ в первую очередь.

Очевидно, что в рамках принятой классификации такие ЭВМ однозначно должны быть отнесены к классу ОКМД.

Требование обеспечения высокой степени параллелизма обработки массивов данных диктует необходимость введения в состав ЭВМ большого числа операционных устройств. Причем каждое из этих устройств, по существу, должно быть универсальным, то есть способным выполнить любую операцию над элементом массива. Управление операционными устройствами ввиду их массовости осуществляют на уровне микрокоманд, как это делалось в арифметико-магистральных ЭВМ, нецелесообразно. Уровень управления должен быть поднят до уровня команд. Тогда центральное устройство управления должно лишь генерировать поток команд, задаваемый выполняемой программой, и тиражировать его по операционным устройствам. Декодирование команд до уровня микрокоманд должно выполняться в операционных устройствах, для чего последние необходимо дополнять местными устройствами управления. В результате каждое рабочее место фактически превращается в процессор, который принято называть элементарным (ЭП).

Совокупность всех элементарных процессоров образует так называемое операционное поле. Его конфигурация в принципе может быть произвольной, однако, учитывая доминирующую роль операций матричной алгебры в общем списке операций, выбирают конфигурацию типа прямоугольника.

Итак, два фактора – ориентация на решение задач матричной алгебры и топологическое подобие конфигураций матрицы и операционного поля – закономерно привели к тому, что рассматриваемые системы получили наименование матричных.

Двухмерное пространственное расположение элементарных процессоров в операционном поле порождает принципиально новую по отношению к магистральным ЭВМ задачу организации связей между ЭП. Вообще говоря, эти связи можно организовать через основную память системы с помощью интерфейсов, соединяющих ее с каждым ЭП. В этом случае основная память используется в качестве почтового ящика, а ее доступность всем элементарным процессорам делает схему их взаимной доступности полной, то есть универсальной.

Взаимная доступность различных функциональных устройств в многопроцессорных комплексах, как и в других типах суперЭВМ, обеспечивается интерфейсной сетью (ИС). Причем, если архитектура системы ввода-вывода допускает прямой доступ центральных процессоров к периферийным устройствам, то интерфейсная сеть представляется единой интегральной системой связи.

В противном случае, то есть когда к периферийным устройствам могут обращаться лишь процессоры ввода-вывода, интерфейсная сеть может представлять собой совокупность двух автономных систем связи.

В каждом из вариантов построения интерфейсной сети связи процессоров как центральных, так и ввода-вывода, с модулями памяти являются обязательными, что уже гарантирует полнодоступность центральных устройств.

Как правило, полносвязность в таких комплексах достигается за счет построения интерфейсной сети на основе многовходовых модулей памяти. При большем числе входов удельный вес линий связи становится недопустимо высоким, а также излишне усложняются схемы организации мультидоступа, входящие составной частью в каждый модуль памяти.

Другой существенный недостаток многовходовых модулей состоит в весьма ограниченных возможностях расширения конфигурации комплекса в процессе его развития. Действительно, когда все входы задействованы, увеличение числа процессоров связано с заменой всех схем мультидоступа. Если при этом конструктивно они не разделены с модулями памяти, то замене подвергается, по существу, вся память системы.

На практике из возможных вариантов организации связей наибольшее распространение получили интерфейсные сети на основе общей шины и коммутационного поля типа прямоугольной решетки, в узлах которой располагаются узлы коммутации. Последние называют также матричными коммутаторами или матричными коммутационными системами.

Среди отмеченных вариантов построения интерфейсных сетей простейшей бесспорно является сеть на основе общей шины. Однако относительно низкие пропускная способность и надежность сдерживают ее применение в многопроцессорных комплексах. Для снижения значимости отмеченных недостатков повышают степень связности функциональных модулей комплекса за счет дублирования основной шины. Этим добиваются повышения и пропускной способности, и надежности интерфейсной сети. Однако и при этом важнейший параметр ИС – пропускная способность – в ряде случаев оказывается недопустимо низкой, ибо число пар взаимодействующих устройств, способных вести обмен данными одновременно, не может превышать число общих шин. Иными словами, коэффициент параллелизма такой сети является весьма низким.

В противовес этому интерфейсные сети с перекрестной коммутацией обладают заметно более высоким коэффициентом параллелизма, что и определило их большую применимость в МПК. По своим характеристикам они занимают некоторое промежуточное положение между полносвязной и односвязной сетями и представляют собой вариант компромиссного решения, к которому, как правило, и сводится проектирование всякой сложной системы. Основным ограничивающим фактором области их использования является квадратичный рост объема оборудования при увеличении размерности коммутационного поля. Этот фактор оказывается настолько существенным, что в достаточно сложных комплексах приводит к соизмеримости объемов аппаратных средств коммутационных систем и центральных устройств.

Сложность процедур организации функционирования многопроцессорных комплексов однозначно приводит к их реализации программными средствами, совокупность которых образует операционную систему (ОС) комплекса. Эта система в силу централизованного характера управления является единой для всего комплекса.

Указанный факт считается столь важным, что его отражают в определении рассматриваемых комплексов. Другим безусловным признаком МПК, как было показано, является общедоступность функциональных устройств. Поскольку универсальным средством обеспечения этого свойства является общедоступная память, этот факт также находит отражение при идентификации МПК. В результате большинство определений можно свести к следующему – многопроцессорным комплексом называется вычислительная система, содержащая несколько процессоров, общую оперативную память и управляемая единой операционной системой.

Вообще говоря, передача данных между памятями взаимодействующих ЭВМ может быть как прямой, то есть непосредственной, так и косвенной. Последняя предполагает промежуточную буферизацию данных, что реализуется чаще всего с помощью внешних запоминающих устройств. Обмен в этом случае выполняется в два этапа. Сначала одна из ЭВМ записывает на ВЗУ некоторый массив данных, после чего другая ЭВМ считывает этот массив в свою оперативную память.

Необходимость обращения к ВЗУ различных ЭВМ, выполняющих так называемые парные (альтернативные) команды типа Запись и Считывание, требует организации работы ВЗУ в режиме разделения времени с этими ЭВМ, что делает их общим ресурсом комплекса. Следовательно, интерфейсная сеть должна обеспечить доступ любой машины к этим ВЗУ, которые по тем же причинам, что и в многопроцессорных комплексах, выполняются по модульному принципу. Возникающая при этом совокупность ВЗУ образует одноименное общее поле.

Использование принципа модульности позволяет, во-первых, распараллелить процесс обращения нескольких ЭВМ к общей внешней памяти, если только их запросы не пересекаются по общим данным, во-вторых, увеличить совокупную емкость этих устройств и, в-третьих, повысить надежность комплекса.

Введение процедуры буферизации в процессе обмена данными приводит к снижению требований по синхронизации работы ЭВМ, ибо не требует их одновременного включения в процесс обмена и, кроме того, допускает накопление общих массивов практически неограниченного объема. Однако время доступа к таким данным оказывается существенно большим, чем при прямом обмене.

Взаимодействие ЭВМ в многомашинных комплексах обусловлено необходимостью использования общих исходных данных, сравнения результатов и синхронизации темпа выполнения заданий. Поскольку издержки на обмен данными в ММК становятся достаточно большими и многократно превосходят аналогичные издержки в других локальных вычислительных системах, вполне естественным является стремление к снижению интенсивности взаимодействия машин. Поэтому оправданным оказывается распараллеливание вычислительного процесса лишь на уровне задач, ибо снижение уровня параллелизма приводит к недопустимо высоким потерям производительности.

Таким образом, для многомашинных комплексов, как слабосвязанных вычислительных систем, характерно относительно редкое взаимодействие входящих в их состав ЭВМ. По этой причине интерфейсная сеть ММК, как правило, создается на основе штатных средств систем ввода-вывода ЭВМ, составляющих комплекс.

Низкая интенсивность обмена данными между ЭВМ в многомашинном комплексе, являясь следствием отсутствия общих полей центральных устройств, в первую очередь – оперативных запоминающих устройств, в то же время породило следствие, выразившееся в отказе от централизованного управления комплексом. Иначе говоря, каждая ЭВМ имеет собственную операционную систему, во многом подобную ОС ЭВМ и снабженную дополнительными программными модулями, реализующими функции управления комплексом, а также взаимодействия отдельных машин.

Наличие децентрализованного управления в ММК считается достаточно важным отличительным признаком от МПК и по аналогии с последними отражается в их определении: многомашинным комплексом называется вычислительная система, содержащая несколько взаимосвязанных ЭВМ, функционирующих каждая под управлением собственной операционной системы.

Изложение концепции многомашинных комплексов в рамках настоящего контекста было бы не совсем оправданным, если рассмотрение ММК ограничить только их способностью повышать надежность систем по отношению к обычным ЭВМ. Возможность распараллеливания вычислительного процесса безусловно создает предпосылки для повышения производительности. Действительно, для этого достаточно отказаться от режима дублирования одних и тех же заданий по ЭВМ и назначать им различные задания. При этом, чем в меньшей степени оказываются зависимы эти задания, тем больший прирост производительности можно ожидать. Поскольку в многомашинных комплексах это условие, как правило, выполняется, о чем говорилось выше, то общая производительность комплекса практически линейно возрастает с ростом числа машин.

Однако столь стремительный рост производительности еще не дает оснований считать ММК эффективным средством достижения ее высоких значений. В самом деле, решение практически независимых задач подобно использованию нескольких автономных ЭВМ. Это же, в частности, объясняет и тот факт, что с целью повышения производительности отдельные ЭВМ комплекса переводятся в режим независимой работы. Однако при этом комплекс, по существу, перестает быть таковым и не может проявить системных свойств. Поэтому основными режимами работы многомашинных комплексов являются режимы, направленные на повышение надежности.

Характерным для ММК является его кратковременный перевод в периоды пиковой нагрузки в режим независимой работы. Как только длина входной очереди заданий уменьшится и примет допустимое значение, комплекс возвращается в режим повышения надежности. Если длительность пиковой нагрузки много меньше длительности нормальной нагрузки, то снижение надежности на интервале независимой работы ЭВМ не оказывает существенного влияния на интегральные показатели надежности.