На мировом суперкомпьютерном рынке не так много компаний с полным правом могут считать себя законодателями мод. Intel, безусловно, из их числа. Поэтому любые технологические тенденции, которые выглядят значимыми в ее глазах, автоматически таковыми воспринимаются и всем HPC-сообществом.

На прошедшей в середине ноября в американском Солт-Лейк-Сити авторитетной выставке-конференции SC12 директор по развитию корпоративных проектов Intel в России и СНГ Николай Местер устроил для российских журналистов своеобразную экскурсию по стендам, рассказав о текущих мировых трендах. Было отмечено достаточно много векторов развития рынка, но два из них привлекли особое внимание наших соотечественников в силу своего прямого отношения к российскому разработчику — компании РСК, представлявшей на американском континенте свои новые решения.

Стандартизация

Главным событием SC12 для мирового сообщества стало противопоставление конкурирующих между собой разработок для повышения производительности суперкомпьютеров при умеренном росте их энергопотребления. Nvidia и AMD представили свои новые графические ускорители, а Intel — первый из своих сопроцессоров Xeon Phi. Дискуссия о том, чья технология лучше, в самом разгаре, но есть и вполне очевидный факт. Классическая процессорная архитектура х86 по умолчанию является отраслевым стандартом, поэтому появление совместимого с ней решения Intel — это для рынка явный призыв к стандартизации. Данная тема, как можно было понять из рассказа г-на Местера, в принципе хорошо прослеживается в отрасли, причем в самых разных аспектах.

Так, на выставке было представлено несколько компаний, занимающихся параллельными файловыми системами и системами хранения. В частности, речь идет о DDN (Data Direct Networks) и Panasas, которые делают решения на основе открытых технологий, дорабатывая их. То есть берутся стандартные компоненты, объединяются, сверху на них ставится открытое ПО и добавляется свой программный код. В случае DDN получается решение, которое работает с масштабом до нескольких петабайт (огромные данные) и с количеством файлов, измеряемых миллионами. По мнению г-на Местера, это хороший пример того, как стандартные технологии пришли из серверного сегмента в сегмент настольных систем и систем хранения, которые раньше абсолютно все были проприетарными (EMC, Hitachi и т. д.).

Пример другого рода — компания Silicon Graphics, недавно прошедшая процедуру банкротства из-за неэффективности управления. Она была куплена компанией Rackable Systems, после чего ряд ее продуктов был диверсифицирован. Теперь Silicon Graphics делает упор на решения на основе кластеров, а не на основе своей специфической архитектуры.

Далее — стенд IBM. Как обычно, эта компания для HPC предлагает много различных направлений — как на интеловских процессорных линейках, так и на своих собственных. Однако, по уверению г-на Местера, все более заметно движение IBM в сторону стандартных архитектур (х86).

Еще пример — компания Cray, исторически являющаяся одним из отцов-основателей суперкомпьютинга. По словам г-на Местера, традиционно она делала решения либо на своих разработках, либо на основе процессоров AMD. В Солт-Лейк-Сити компания отметилась системой Titan (Cray XK7), которая вышла на 1-е место в рейтинге самых быстрых вычислителей планеты Top 500. При ее создании были использованы серверные процессоры AMD Opteron и новые GPU Nvidia K20. Однако при всем этом Cray также впервые анонсировала на SC12 решение на процессорах Intel, что наводит на определенные мысли.

Это лишь фрагментарные примеры. Но в целом мысль г-на Местера вполне очевидна: мир существенно меняется и движется к стандартизации и конвергенции. Не удаляясь совсем от рассмотрения этой тенденции, попутно переходим к изучению следующей.

Жидкостное охлаждение

Принцип невоздушного охлаждения вычислительных узлов в суперкомпьютинге известен давно, однако стремительную популярность он начал набирать в последние несколько лет, когда при росте производительности вычислителей крайне остро встала проблема их энергоэффективности.

У воды (хотя в качестве рабочего тела может использоваться любая другая жидкость) многократно более высокая теплоемкость. При этом она практически несжимаема — в отличие от воздуха для нее не нужно создавать избыточное давление, чтобы она переместилась из одного места в другое. И соответственно у воды возникает меньше турбулентности, которая требует еще большего давления для перемещения.

В настоящий момент на рынке присутствует три типа систем жидкостного охлаждения. Первые — инверсионные, в которых электроника погружается в жидкость (масло) целиком. Недостаток такого подхода, по словам г-на Местера, заключается в его чрезмерной массивности. Чтобы инженерные сооружения смогли выдержать нагрузку тяжелых емкостей с маслом, как правило, приходится применять не вертикальную, а горизонтальную компоновку серверных полок, за счет чего и так громоздкое решение с учетом неэффективного использования полезного объема помещения имеет весьма низкую вычислительную плотность.

В решении второго типа электронные компоненты частично покрываются теплосъемными пятнами, охлаждаемыми водой. Соответственно часть компонентов все равно приходится обдувать воздухом — решение не является полным, что влечет за собой вполне очевидные проблемы.

Третий тип — использование охлаждающей пластины, которая полностью закрывает сервер. Такой подход позволяет достичь наибольшей плотности вычислений и имеет по-видимому самую низкую стоимость производства.

В контексте всего вышесказанного переходим к “патриотической” части. В Солт-Лейк-Сити российская компания РСК представила два своих новых проекта — инсталляции в Межведомственном суперкомпьютерном центре (МСЦ) РАН и в Южно-Уральском государственном университете (Челябинск). Их характерной особенностью, во-первых, стало применение сопроцессоров Intel Xeon Phi. На долю РСК на данный момент приходится две из семи систем с использованием данной новинки (другие пять базируются на территории США, причем одна из них принадлежит самой Intel и не является коммерческой). Во-вторых, обе системы были построены на базе третьего поколения архитектуры “РСК Торнадо” с использованием технологии прямого жидкостного охлаждения для стандартных и массово доступных серверных плат (различных производителей) на базе процессоров Intel Xeon, изначально созданных для традиционных систем с воздушным обдувом электронных компонентов. (Как нетрудно догадаться, речь идет о третьем, наиболее эффективном типе жидкостного охлаждения.)

Таким образом, решения РСК существуют на стыке сразу двух значимых трендов HPC (стандартизации и энергоэффективности за счет невоздушного охлаждения), и на этом поле, как можно было заключить из рассказа г-на Местера, российская компания превосходит очень многих своих зарубежных конкурентов.

Наиболее показательной является система РСК для МСЦ, занявшая 59-е место в последней редакции Top 500, а также 30-е место в Green 500 с энергоэффективностью 1949,3 Мфлопс/Вт — рекорд для России и стран СНГ, превосходящий прошлый уровень технологий в 5,5 раза. При этом разработчикам кластера удалось добиться вычислительной плотности на уровне 141 Тфлопс/м2, что в 3,8 раза выше предыдущего мирового рекорда для стандартных архитектур х86.

Сравнительный анализ

Особенностью масштабных международных выставок является возможность прямого сопоставления имеющихся на рынке решений. На стенде компании Hitachi (один из доминантов японского рынка), представлявшей на SC12 свое решение на воздушном охлаждении, внимание г-на Местера привлекла фраза в презентации high density rack (высокая плотность стойки). Оценив размеры серверного шкафа (120×80 см) и изучив спецификацию, из которой следовало, что суммарная мощность стойки составляет 29 Тфлопс, он заключил, что аналогичное решение РСК на воде превосходит японских коллег приблизительно в 1,5 раза (47,5 Тфлопс). То есть с точки зрения вычислительной плотности воздушное охлаждение очевидно является вчерашним днем, даже если речь идет о самых передовых разработках крупнейших компаний.

При рассмотрении представленных на выставке “жидкостных” систем выяснилось, что в основном речь идет о половинчатых решениях второго типа. Например, на стенде Мюнхенского суперкомпьютерного центра им. Лейбница (Leibniz-Rechenzentrum — знаменитый LRZ) была представлена система, в которой только процессор и часть чипсета охлаждаются водой, а все остальное — воздухом.

Другой пример — недавний лидер Top 500 компания Fujitsu со своим K computer. В ее системе к процессору подается жидкость, к памяти — опять же воздух. (Плюс к этому г-н Местер отмечает не слишком удобную в обслуживании компоновку серверной стойки.)

И пример совсем интересный — компания Appro. Являясь с точки зрения г-на Местера по многим параметрам аналогом российской РСК, она представляет решение с неполным жидкостным охлаждением, но уже заслужила особое признание мирового гранда, компании Cray, которая недавно Appro купила.

На выставке были и примеры использования охлаждающих пластин, полностью закрывающих сервер. В частности, подобное решение представляет компания Bull. Однако она использует не стандартные платы, а свои собственные, то есть ее наработка не является универсальной и систему весьма сложно масштабировать.

По уверению г-на Местера, сочетание полного жидкостного охлаждения и использования стандартных компонентов, кроме РСК (как это кому-то ни покажется странным), в мире не реализовал еще никто. Если технологии станут развиваться именно в данном направлении, в чем г-н Местер, похоже, нисколько не сомневается, то зарубежным конкурентам придется наверстывать в буквальном смысле годы отставания от российского разработчика.