ВЫСТАВКИ
В недалеком прошлом высокопроизводительные вычислительные системы были доступны только для крупных корпораций и субсидируемых государством исследовательских учреждений. Однако закон Мура и концепция программного обеспечения с открытым кодом вносят свои коррективы в положение дел. Несмотря на кризис в ИТ-отрасли США в целом*, суперкомпьютерные технологии (англоязычный термин High Performance Computing) находят все новые рынки и области применения. Согласно прогнозу Gartner Group, в течение следующих трех лет 20% серверов, поставленных на рынок, будут установлены в кластерных системах.
Джон Пикло, ИТ-менеджер высокопроизводительных вычислительных
систем DaimlerChrysler: "Опыт работы с кластерами создал базу
для плавного перехода наших вычислительных систем к технологии Grid"
Кластеры на базе ОС Linux уже сейчас позволяют снизить пороговую стоимость высокопроизводительных вычислительных систем больше чем на порядок, что дает реальную возможность их использования университетам и лабораториям, предприятиям и небольшим фирмам. Так, третье место в официальном списке суперкомпьютеров Top500.Org (www.top500.org) занимает кластерная система MCR Linux Cluster, установленная в совместной лаборатории им. Лоренса Ливермора Министерства энергетики США и Университета штата Калифорния. Построенная компанией Linux Networx из 1152 компьютеров на процессорах Intel Xeon 2,4 ГГц, по производительности она уступает лишь японскому симулятору планеты Земля (NEC) и ASCI Q AlphaServer (Hewlett-Packard).
Учитывая растущий интерес ИТ-подразделений преприятий, Linux Cluster Institute и агентство QuarterPower Media провели 23-26 июня в выставочном комплексе города Сан-Хосе, столицы калифорнийской Силиконовой долины, новое экспошоу ClusterWorld’2003, в рамках которого состоялся целый ряд конференций. В силу специфики мероприятия и сравнительно небольшого количества его участников (всего 46 компаний) посетители получили прекрасную возможность пообщаться с вендорами без спешки, плодотворно и интересно. Как заметил менеджер фирмы California Digital, являющейся преемником компании VA Linux Systems по части аппаратного обеспечения, выставка получилась очень уютной. В настоящее время наряду с поставкой кластерных систем "под ключ" California Digital предлагает сервис по портированию приложений на кластерные системы на базе Linux.
Мэтт Обердорфер, менеджер по продуктам Engineered Intelligence,
комментирует ход финальных боев GridWars II
Среди участников и докладчиков были не только разработчики высокопроизводительных вычислительных систем, но и их пользователи, накопившие многолетний опыт. Так, например, автомобильная корпорация DaimlerChrysler применяет кластеры для моделирования и визуализации креш-тестов новых конструкций автомобилей с 1998 г. Как рассказал ИТ-менеджер подразделения высокопроизводительных вычислительных систем компании Джон Пикло (John Picklo), на сегодняшний день они имеют на вооружении четыре кластера. При этом для них гораздо выгодней централизованная модель вычисления и обработки результатов, чем модель, основанная на использовании персональных рабочих станций. В кластере каждый процессор загружен вычислительной работой 24 часа в день. Централизованная модель не требует круглосуточной службы поддержки. В случае отказа одного-двух узлов системы, скажем, в ночное время, вычислительный процесс в кластере не прерывается, а сбойные узлы будут восстановлены в течение следующего рабочего дня. Переход с классических SMP-систем (Symmetric Multi-Processor) на кластерные позволил автогиганту снизить вероятность потери вычислительных заданий из-за системных сбоев с 0,1% до 0,05%. Появление новых дешевых 64-разрядных процессоров Intel и AMD делает кластеры очень рентабельным вычислительным инструментом. Помимо классических кластерных конфигураций DaimlerChrysler использует гибридную систему CFD Hybrid Cluster, состоящую из двух 64-процессорных 64-разрядных SMP-компьютеров производства SGI, установленных в разных географических регионах для повышения надежности гибридной системы в целом, и двух кластеров из 32 компьютерных узлов, созданных IBM на базе 32-разрядных процессоров Intel. Машины SGI производят распределение и постановку вычислительных задач между машинами кластеров на процессорах Intel, которые передают результат обработки обратно на файловый сервер, построенный на базе вышеупомянутых систем SMP. В ближайшее время компания DaimlerChrysler планирует перейти к системе распределенных вычислений Grid, благодаря которой управление вычислительными задачами в кластере может происходить автоматически, без участия оператора.
Основное внимание участников ClusterWorld’2003 было сосредоточено на аппаратных решениях, обеспечивающих взаимодействие между узлами кластера. В общем случае для соединения машин приемлемы коммутаторы Ethernet второго уровня со скоростью передачи 100 Мбит/c, 1 и 10 Гбит/c, однако такие устройства имеют сравнительно большие внутренние задержки (порядка 10 мс), что не подходит для решения критически важных задач, выполняемых в кластере. В 2000 г. была принята совместно разработанная компаниями Compaq, IBM, HP, Dell, Sun и Intel спецификация InfiniBand, предусматривающая скорость двунаправленной передачи до 30 Гбит/с и время задержки не более 10 мкс. Величина скорости передачи коммутаторов InfiniBand обозначается в названии модели как кратность базовой скорости 2,5 Гбит/c. Например, коммутатор InfiniBand 1X имеет паспортную скорость 2,5 Гбит/с, коммутатор InfiniBand 4X - 10 Гбит/c и т. д.
Призер выставки фирма Topspin Communications (www.topspin.com) представила уникальный коммутатор InfiniBand Topspin 360, дающий возможность не только установить связь между узлами кластера, но и произвести смену контекста конфигурации кластерной сети, т. е. аппаратных адресов сетевых интерфейсов и IP-адресов узлов, "на лету", по команде с консоли управляющей утилиты. TopSpin Communication позиционирует свою продукцию как связующее звено для систем с вычислительной мощностью по требованию (computing on-demand). Дополнительно к управляющему ПО в комплект поставки коммутатора включен пакет библиотек с интерфейсом прикладного программирования, позволяющий независимым разработчикам включать в свое ПО функции управления конфигурацией кластерной сети. Прикладные программы, таким образом, могут теперь сами менять конфигурацию сети и кластерных узлов в зависимости от затребованного набора приложений и вычислительной нагрузки. Поставщик СУБД корпорация Oracle уже включила поддержку динамического конфигурирования TopSpin в свои кластерные продукты. Цена коммутатора в расчете на порт с учетом удельной стоимости одного порта и сетевой карты составляет $1200.
Хотелось бы отметить, что спецификация InfiniBand была задумана не просто как новый стандарт для сетевой инфраструктуры высокопроизводительных систем, но и как приемник шины PCI в архитектуре вычислительных систем (ПК, Макинтош, Sparc), способный обеспечить прямой быстрый доступ процессоров к памяти на удаленных машинах кластера. Пропускная способность 32-разрядной шины PCI ограничивается величиной в 1 Гбит/c, а X-PCI - в 6,25 Гбит/с, недостаточной для того, чтобы покрыть возможности сетевых интерфейсов InfinBand. Именно поэтому данный стандарт предлагается реализовать на уровне системной шины ввода-вывода компьютера. IBM уже планирует выпустить серверы семейства eServer серий x, z и p, оснащенные системной шиной InfiniBand.
Альтернативу InfiniBand на сегодняшний день составляют две технологии. Первая - Myrinet фирмы Myricom - была создана в 1994 г. и с тех пор получила широкое распространение. Оборудование Myrinet имеет скорость двунаправленной передачи 2 Гбит/с и время внутренней задержки 7 мкс при удельной стоимости за порт порядка $1400. Архитектура этой технологии тоже подразумевает наличие центрального коммутатора. Однако Myrinet уступает по скорости передачи оборудованию InfiniBand 4X (10 Гбит/с), стоимость которого за порт составляет порядка $1300. Недостатком Myrinet является и тот факт, что владеет этой технологией только одна компания.
Вторая альтернативная технология, предлагаемая фирмой Dolphin Interconnect (www.dolphinics.com), базируется на спецификации SCI (Scalable Coherent Interface) и имеет распределенную архитектуру без центрального коммутатора. Топология SCI представляет одно-, двух- и трехмерный тор. Серия сетевых карт Wulfkit3 обеспечивает полосу пропускания 150 Мб/с и отличается рекордно малым в индустрии кластерных систем временем внутренней задержки в 5 мкс. Достоинство SCI состоит в отсутствии центральной точки отказа и наличии избыточных соединений между узлами. Удельная стоимость за порт составляет от $1000 до $1200. Как нам пояснили на стенде Dolphin Interconnect, наибольшим спросом пользуются адаптеры для двухмерной тороидальной конфигурации ($1100 за порт).
Количество серверных узлов в кластере определяет выбор конструктива для монтажа серверов. На смену классическому монтажу в серверную стойку приходит вертикальный монтаж наборов серверных плат, иначе называемых "лезвиями". Последние позволяют добиться большей плотности серверов на единицу площади, но имеют один большой недостаток: каждый производитель серверных "лезвий" предлагает свой корпоративный конструктив, несовместимый со спецификациями других вендоров. Если модернизация серверов, монтируемых в стойку, производится путем замены или установки на системную плату новых компонентов, то модернизация серверных "лезвий" сводится, по сути, к замене всей серверной платы. Компания RackSaver (www.racksaver.com) предлагает новый конструктив, представляющий собой промежуточный вариант: серверные платы устанавливаются вертикально, подобно серверам-"лезвиям", на специальное шасси с направляющими в стандартной серверной стойке. В отличие от "лезвий" RackSaver комплектует свои решения стандартными полноразмерными системными платами Tyan, Arima, Gigabyte, MSI, Intel, SuperMicro. В итоге плотность серверов оказывается на 25-30% больше, чем в классической стойке. Инженерное решение RackSaver обладает и еще одним достоинством. Обдув серверных плат производится вертикально в соответсвии с естественным направлением потока воздуха. Применение в RackSaver стандартных комплектующих делает цену серверов вполне конкурентоспособной. При этом предлагается модельный ряд от 8 до 132 одно- и двухпроцессорных узлов на стойку с коммутаторами InfiniBand или Myrinet.
Следует отметить интернациональный характер выставки. В состав оргкомитета вошли представители академических кругов Австрии, Англии, Бразилии, Германии, Италии, США, Франции, Швеции, Южной Кореи и Японии. Россия тоже стала почетным участником экспошоу благодаря удачному стечению обстоятельств и энтузиазму российского студента. Американская компания Engineered Intelligence (www.engineeredintelligence.com), выпускающая ПО для параллельного программирования, выступила с красивой маркетинговой инициативой, организовав международный турнир по параллельному программированию GridWars II (www.gridwars.com). Перед участниками турнира стояла задача написать, используя язык параллельного программирования CxC (читается как "Си бай Си"), лучшую воинствующую программу, способную победить программу соперника на поле битвы. Как сообщила Engineered Intelligence, существует несколько типов игры, имеющих базовые правила и различающихся темпераментными оттенками ("жесткая", "классическая" и т. п.). Поле битвы представляет собой квадрат, разбитый на ячейки, символизирующие вычислительный ресурсы компьютера, за которые борются программы. Ячейка может быть свободна или занята воинствующей программой одного из противников, являться непроходимой стеной или телепортом, зоной безопасности или особо опасной зоной. Каждая новая занятая ячейка дает право выстрела в соседнюю ячейку противника. Чем шире фронт ячеек, тем смертоноснее удар по противнику, а значит, и больше шансов занять очередную ячейку. Выигрывает тот, кто полностью покроет поле битвы, вытеснив противника. Все программы должны быть написаны на языке CxC с использованием компилятора и среды запуска производства Engineered Intelligence. Как пояснил представитель компании, CxC является платформно-независимым языком, абстрагирующим аппаратное обеспечение машины. В зависимости от операционной среды и аппаратных ресурсов он может запускать задачи параллельно на различных процессорах в реальном масштабе времени (например, в многопроцессорных или кластерных системах) либо эмулировать параллельность исполнения процессов на однозадачных или однопроцессорных системах (DOS, Win95/98). На выставке ClusterWorld’2003 фирма Engineered Intelligence при спонсорской поддержке Hewlett-Packard, предоставившей для поля битвы кластерную систему на Intel Itanium 2 на базе Linux, разыграла полуфинал и финал GridWars II. Арбитром финальных боев, в которые вышли четыре претендента, выступил представитель Engineered Intelligence Мэтт Обердорфер (Matt Oberdorfer). Призером игры стал двадцатитрехлетний студент МГУ Василий Громов. Используя в своей программе авторский алгоритм "Кобра", он победил исследователя из NASA Марка Венига (Mark Wenig), чья программа была построена на генетическом алгоритме Rogue. Финальный бой получился зрелищным, так как перевес сторон в течение поединка менялся трижды. Таких интересных поворотов не возникало, когда в полуфинальных поединках "Кобра" воевала с Neutral (Роберт Макрае, Великобритания), а Rogue - с JellyB6 (Шанминг Ло, Сингапур). Компания Hewlett-Packard наградила победителей ценными призами.
Выставка ClusterWorld’2003 стала уникальным событием в мире ИТ, символизировавшим новый виток в эволюции сферы высоких технологий. По значению ее можно сравнить с появлением глобальной компьютерной сети Интернет, вышедшей из государственных исследовательских лабораторий и учебных заведений США. Таким же образом развиваются кластерные системы. Академическая среда уже подготовила хорошую теоретическую и практическую базу для кластерных вычислений. Большинство учебных курсов и конференций в ходе выставки было подготовлено именно сотрудниками НИИ и государственных лабораторий. ClusterWorld’2003 является этапом в эстафете по передаче суперкомпьютерных технологий из академических кругов в руки бизнеса. Операционная среда Linux позволила сделать эти технологии доступными для широкого круга пользователей. Выставочный комплекс в Сан-Хосе стал удачной дебютной площадкой для многих высокотехнологичных экспошоу. Есть все основания считать, что ClusterWorld ждет хорошее будущее. 4 С автором статьи можно связаться по адресу: pavell@genesyslab.com. *Судя по NASDAQ, этот кризис уже заканчивается. - Прим. ред.
