В середине ноября в американском Солт-Лейк-Сити прошла очередная авторитетная международная выставка-конференция по высокопроизводительным вычислениям SC’12, на которой российская компания РСК представила два своих новых проекта — инсталляции в Межведомственном суперкомпьютерном центре (МСЦ) РАН и Южно-Уральском государственном университете (Челябинск). Данное событие является весьма примечательным сразу по нескольким причинам (масштабность, тенденциозность, технологичность), и каждая из них заслуживает отдельного рассмотрения.

Факты и цифры

В мировом суперкомпьютинге есть два главных публичных мероприятия в году — две конференции-выставки, на которых в том числе анонсируется самый востребованный HPC-сообществом рейтинг мощнейших вычислителей планеты Top 500. Одна из них традиционно проходит в июне в Германии, вторая — в ноябре в США (она масштабнее в несколько раз).

Как известно, на этом весьма элитарном рынке огромную роль играют личностные контакты и регулярное общение, поэтому с некоторых пор оба российских HPC-разработчика, позиционирующих себя в качестве международных поставщиков технологических решений, — РСК и “Т-Платформы” -- стабильно начали посещать и то и другое мероприятие. Однако если в Германии наши компании в последние годы обязательно выступают с собственными стендами, да еще и в качестве основных спонсоров, то на американском континенте нынешнее появление выставочной площадки под российским флагом (стенд РСК совместно с МСЦ РАН и ЮУрГУ) произошло впервые.

Мировые технологические лидеры анонсы своих значимых разработок, как правило, подгадывают именно под одну из вышеупомянутых конференций. Но при этом если речь идет о компонентах, то часть партнеров производителя, обладающих по отношению к нему особым статусом, получают в свое распоряжение преданонсные версии новинок заранее. И в тот момент, когда происходит публичная презентация разработки, компании-партнеры также готовы открыто предложить рынку свои тиражируемые решения на их основе.

В Солт-Лейк-Сити не нуждающаяся в представлении компания Intel анонсировала несколько своих продуктов. Главным из них, по уверению директора по развитию корпоративных проектов Intel в России и СНГ Николая Местера, стали долгожданные (без всяких оговорок) сопроцессоры Intel Xeon Phi, созданные на базе архитектуры Many Integrated Core (MIC) и предназначенные для увеличения производительности вычислительных систем, обрабатывающих высокопараллельные рабочие нагрузки.

На конференции стало известно, что эти новые сопроцессоры (их преданонсные версии из очень ограниченной партии) уже легли в основу семи инсталляций. Пять суперкомпьютеров с использованием Intel Xeon Phi расположены на территории США: одна — некоммерческая — принадлежит самой Intel, две находятся в распоряжении NASA, одна в TACC (Texas Advanced Computing Center) и еще одна в Университете Теннеси. На остальной мир приходится всего две инсталяции с применением новинки; обе осуществлены компанией РСК и обе находятся в России. Такой характер распределения передовых суперкомпьютерных решений смело можно считать значимым достижением отечественной отрасли, и в новейшей истории нашей страны нечто подобное происходит впервые.

Кроме того, отдельного упоминания заслуживает тот факт, что обе системы были построены на базе третьего поколения архитектуры “РСК Торнадо” с использованием технологии прямого жидкостного охлаждения для стандартных и массово доступных серверных плат (различных производителей) на базе процессоров Intel Xeon, изначально созданных для традиционных систем с воздушным обдувом электронных компонентов. Как можно было понять из общения со специалистами Intel, жидкостное охлаждение в последнее время -- явный тренд на мировом рынке HPC, причем РСК в технологической гонке поставщиков соответствующих решений по многим параметрам опережает большинство своих конкурентов. Некоторых — на годы.

Система в ЮУрГУ

Челябинская инсталяция РСК, состоящая из 192 вычислительных узлов, достигла пиковой производительности в 236,8 Тфлопс. На стандартном тесте Linpack она показала 146,8 Тфлопс, что позволило ей занять 170-е место в последней редакции списка Top 500, а также 40-ю позицию в мировом рейтинге Green 500, продемонстрировав значение энергоэффективности 995,5 Мфлопс/Вт, что в 2,8 раза лучше предыдущего рекорда для России и стран СНГ.

В РСК уверяют, что использованное в Челябинске решение обладает самой высокой вычислительной плотностью в индустрии на базе стандартных серверных плат и процессоров архитектуры x86. Вся система (собственно вычислитель, питание, охлаждение, коммуникационное оборудование, система хранения данных) разместилась на площади 40 м2. (Аналогичный по производительности кластер с традиционным воздушным охлаждением занял бы как минимум в три раза больше пространства.) Энергопотребление суперкомпьютера составляет 160 кВт (а всего ЦОД в СКЦ ЮУрГУ — около 500 кВт).

Стоит отметить, что новый вычислитель стал не первой крупной системой университета за последнее время. Предыдущая — “СКИФ-Аврора” — также была создана при участии РСК в начале прошлого года. Ее пиковая производительность тогда составила 117 Тфлопс, а на тесте Linpack — 100,4 Тфлопс, что позволило ей в июне 2011 г. оказаться сразу на 87-м месте в Top 500 (в настоящий момент она занимает 303-е место).

По словам заместителя руководителя Лаборатории суперкомпьютерного моделирования ЮУрГУ Глеба Радченко, в его структуре решаются преимущественно индустриальные задачи (Уральский регион имеет ярко выраженную промышленную специфику). Речь идет о моделировании процессов трубопроката и обработки металлов, задачах создания новых материалов и т. д.

Смысл приобретения нового кластера, по словам г-на Радченко, заключается не столько в том, чтобы увеличить количество решаемых задач (их и так более 250), сколько в том, чтобы избавиться от очереди на машинное время: уже через полгода после запуска “СКИФ-Авроры” система была загружена на 100%.

Запаса новых мощностей, полагает г-н Радченко, хватит примерно на год. Увеличение производительности моментально влечет за собой повышение качества расчетов, которое, в свою очередь, стимулирует аппетиты заказчиков. Часть их задач решается на коммерческой основе. И хотя тема окупаемости суперкомпьютинга является проблемой мирового уровня, в России, как надеется г-н Радченко, ситуация в ближайшее время может измениться. Благодаря постановлению Правительства РФ от 9 апреля 2010 г. № 218 “О мерах государственной поддержки развития кооперации российских высших учебных заведений, государственных научных учреждений и организаций, реализующих комплексные проекты по созданию высокотехнологичного производства” у структур, подобных ЮУрГУ, есть шанс получить очень крупные заказы для стратегических отраслей промышленности страны (космос, оборона и пр.) — с учетом мощностей новой системы у университета теперь есть ресурсы для их исполнения. Подобные проекты уже формируются, но пока предметно говорить о них рано.

Система в МСЦ РАН

В настоящий момент МСЦ обслуживает более 100 организаций, в нем работает 181 группа исследователей, решается более 900 задач фундаментальной и прикладной направленности.

Как отмечает технический директор компании “РСК Технологии” (входит в группу РСК) Егор Дружинин, своим названием — МВС-10П — новый суперкомпьютер центра обязан амбициозным планам МСЦ по созданию в обозримом будущем машины 10-петафлопсного диапазона. В данном случае речь идет о так называемом ее прототипе с пиковой производительностью 523,8 Тфлопс (375,7 Тфлопс на Linpack), занявшем 59-е место в последней редакции Top 500, а также 30-е место в Green 500 с энергоэффективностью 1949,3 Мфлопс/Вт — очередной рекорд для России и стран СНГ, превосходящий прошлый уровень технологий уже в 5,5 раза.

Вычислительное поле системы содержит 3328 ядер процессоров Intel Xeon E5-2690 и 25376 ядер сопроцессоров Intel Xeon Phi SE10X. В каждом узле обеспечивается поддержка большого объема энергоэффективной оперативной памяти — 64 Гб (DDR3-1600), что составляет 4 Гб на каждое ядро Intel Xeon и суммарно 13 Тб ОЗУ для всей системы. Сеть передачи данных основана на технологии FDR Infiniband (56 Гбит/с).

По словам г-на Дружинина, в рамках контракта перед РСК была поставлена весьма нетривиальная задача — создать систему, которая при ее расширении до 10 Пфлопс поместится в существующем машинном зале МСЦ весьма ограниченного объема. В результате разработчикам кластера удалось добиться вычислительной плотности решения на уровне 141 Тфлопс/м2, что в 3,8 раза выше предыдущего мирового рекорда для архитектур х86. Таким образом, будущий 10-петафлопсник можно будет разместить всего в 56 стандартных стойках. В компании для сравнения указывают, что самая мощная на данный момент отечественная система в Московском университете (кластер “Т-Платформ” “Ломоносов”) при пиковой производительности порядка 1,7 Пфлопс занимает более 60 стоек (хотя и не совсем ясно, таких же по размерам или нет).

Энергопотребление суперкомпьютера МВС-10П составляет 222 кВт. В РСК уверены, что применение новинок Intel в сочетании с ее жидкостным охлаждением сокращает среднегодовые затраты на электроэнергию для кластера приблизительно на 60%. При этом представленная в Солт-Лейк-Сити технология гибкого управления энергопотреблением “РСК ЭКОсистема”, по уверению ее создателей, позволяет дополнительно уменьшить суммарную стоимость владения вычислителем еще на 25%. Данная технология, которую г-н Дружинин считает одной из ключевых разработок для движения к 10-петафлопсной машине, была анонсирована РСК в июне текущего года на выставке ISC’12 в Гамбурге, а впервые внедрена именно в суперкомпьютере МВС-10П.

Возможные перспективы

В контексте всего вышесказанного не трудно предположить, что в Солт-Лейк-Сити компания РСК осуществила весьма громкую самопрезентацию на американском рынке. Однако выльется ли это в какие-либо конкретные контракты, неизвестно. В компании традиционно не делятся своими планами до завершения проектов. О перспективах российского разработчика мы можем судить лишь косвенно. Например, весьма красноречивым является тот факт, что не так давно компания Cray, гранд мирового суперкомпьютинга, приобрела компанию Appro, чьи разработки она посчитала чуть ли не революционными. По мнению г-на Николая Местера, у Appro и РСК много общего. Обе компании очень сконцентрированы на определенном рыночном сегменте и делают неплохие решения, но при этом у РСК выше уровень их проработки. На SC’12 Appro представила решение на жидкостном охлаждении, но с отводом тепла не со всей платы, как у РСК, а только с отдельных ее точек. При этом, по оценкам г-на Местера, у зарубежного аналога налицо нерациональное использование полезного объема — в шкафах компании размещено в два-три раза меньше терафлопс, чем в шкафах РСК меньшего размера.

Представители РСК и сами уже не склонны особо скромничать. Как поведал журналистам г-н Дружинин, послушав выступления разработчиков на выставке в США, он сделал вывод, что во многих аспектах работы с водой его компания ушла далеко вперед. Зарубежные коллеги сегодня остро обсуждают те нюансы и проблемы, которые в РСК по факту были проработаны еще три года назад.

Выводы, что называется, делайте сами.