В конце июня в немецком Лейпциге прошла традиционная суперкомпьютерная выставка-конференция ISC’14 — крупнейшая в Европе и вторая по величине в мире. На ней теперь уже традиционно присутствуют российские компании, представляющие свои разработки. И одна из них в этот раз снова обновила мировой рекорд вычислительной плотности.
Общие впечатления
В этом году восточногерманский Лейпциг принял ISC уже во второй раз. Перед этим выставка много лет проходила в западногерманском Гамбурге, но в какой-то момент организаторам форума показалось, что старая площадка вот-вот перестанет вмещать всех желающих. Решение о переезде принималось загодя, и новоселье ISC отметил как раз в тот момент, когда до рынка HPC в явном виде докатилась волна общемирового экономического кризиса — экспоненты не смогли заполнить весь предоставленный им объем, и это бросалось в глаза. В настоящий момент, спустя год, экспозиция меньше, пожалуй, не стала, но многие наблюдатели сходятся во мнении, что у выставки явно поубавилось так называемого пафоса. Если и не со стороны организаторов, то со стороны участников точно. Люди экономят деньги.
Если считать ISC зеркалом рынка HPC, то в этом зеркале сейчас можно наблюдать определенное замедление роста потребительского спроса. Об этом красноречиво свидетельствует последняя редакция международного рейтинга мощнейших вычислителей планеты Top 500, объявление которой в начале лета традиционно в день открытия ISC и происходит. Лидер списка (китайская система «Млечный путь 2») не меняется третью редакцию подряд (полтора года), в первой десятке за последние 6 месяцев всего один новичок — на последнем месте, суммарный прирост производительности всех систем уже вторую редакцию находится на историческом минимуме. Есть и еще ряд статистических показателей, на основании которых можно было бы сделать весьма неутешительные выводы о состоянии рынка в целом, но, наверное, заниматься этим не стоит. С точки зрения предложения (технологических разработок) все идет своим чередом.
В последние годы PC Week достаточно много писал о двух тенденциях: гибридности и жидкостном охлаждении. По первой из этих тем сейчас лучше взять паузу и подождать по-настоящему значимых новостей, поставщиком которых рано или поздно станет Intel. Компания нацелилась на гомогенные решения следующего поколения, в которых никаких внешних модулей (будь то графические ускорители или сопроцессоры) отдельно от самих процессоров существовать уже не будет.
Что касается жидкостного охлаждения, то в этой сфере ничего революционного прямо сейчас тоже не происходит, но ряд интересных наблюдений все же сделать можно.
Жидкость ради жидкости
О том, что использование жидкости в качестве хладагента стало практически общим местом в суперкомпьютинге, в каком-то смысле можно было сказать еще год назад. Сейчас это уже полнейший мейнстрим — проще пересчитать тех поставщиков, кто все еще пользуется только воздухом. Более того, отдельные компании, которые несколько лет экспонировали на выставке решения-анонсы (точнее было бы их назвать авансами), на сей раз привезли на ISC нечто осмысленное. Ярчайший пример — авторитетная французская Bull. Еще полгода назад на выставке SC’13 в Денвере на стенде компании в недрах открытой кем-то из персонала по неосторожности демонстрационной серверной стойки можно было наблюдать зияющую пустоту, обрывки трубок, свисающие провода, и какой-то откровенно посторонний хлам (в редакции имеется соответствующее фото). В Лейпциге же Bull наконец-то представила симпатичный законченный модуль.
Другой вопрос, что, как и всякий модный мейнстрим, жидкость для многих поставщиков стала вещью в себе. Ее зачастую используют лишь для того, чтобы не отстать от остальных и иметь возможность отрапортовать сообществу и каким-то неискушенным потенциальным клиентам: смотрите, у нас тоже жидкость.
Самый короткий путь в «жидкостный клуб» — погрузить готовое вычислительное решение в электрически-нейтральное масло. Это дешево, но весьма «жестоко» по отношению к заказчику; последнему как минимум придется намаяться с установкой («масло» очень неэффективно занимает площадь машинного зала) и обслуживанием (вынимать-вставлять модули из стойки-аквариума — занятие не для чистюль).
Более технологичным многим представляется использовать водяное охлаждение. Но по ряду как объективных, так и субъективных причин большая часть компаний отводит тепло водой лишь от части компонент, а остальные продолжает обдувать воздухом. И не столь уж важно, приходится на воду 50% теплообмена или 95%. Дублирование систем охлаждения с точки зрения инфраструктуры является явным излишеством и неоправданным усложнением.
Как заверяет представитель крупной международной технологической компании, традиционно предпочитающий делиться с редакцией своими соображениями без указания своего имени, ни один заказчик HPC никогда не станет осмысленно покупать технические характеристики как таковые. Для него не стоит вопрос «вода или воздух». Ему важны потребительские свойства: энергоэффективность, вычислительная плотность, возможность масштабирования и наращивания за счет как аналогичных, так и принципиально новых компонентов и пр. Эксперт отмечает, что идти по верному пути можно разным количеством шагов. Те, кто вводят в систему водяное охлаждение лишь частично, тоже движутся в верном направлении, но исключительно мелкими шажками. Разработка превращается в технологии ради технологий. Их красиво можно подать на презентации, но вопрос о том, зачем было сделано именно это, останется открытым.
Казалось бы, что плохого в том, что большинство начинает с малого — водно-воздушные системы ведь все равно эффективнее чисто воздушных? На это эксперт замечает, что, во-первых, они в плане эффективности ни в какое сравнение не идут с сугубо водными. Но главное, что, от половинчатого решения потом очень тяжело отказаться. И в плане технологий, и в плане маркетинга (нужно ведь окупить разработку и отработать позиционирование). На практике переходы от частичной воды к полной эксперту пока не известны, что может навести на мысль, что изначально приложить более серьезные усилия, сразу полностью исключающие воздух, в каком-то смысле проще. По крайней мере в долгосрочной перспективе.
Прежде чем перейти к рассмотрению новинки российской компании РСК, которая пошла именно этим путем, стоит также упомянуть и другого отечественного разработчика — «Т-Платформы». Компания, обратившись к жидкости, тоже пошла половинчатым путем, но в данном случае важнее тот факт, что она впервые представила на выставке свои новые решения после того как почти 10 месяцев в прошлом календарном году добивалась снятия с себя эмбарго. Напомним, что 8 марта 2013 г. Бюро промышленности и безопасности Министерства торговли США ввело в отношении компании специальные экспортные ограничения, которые запрещали поставщикам высокотехнологичной продукции продавать «Т-Платформам» определенные виды изделий и комплектующих американского происхождения, а также товаров, произведенных с использованием американской интеллектуальной собственности. Для работы на рынке HPC — это, по сути, было волчьим билетом.
Теперь все проблемы позади. А прототип (одна серверная стойка) будущей системы в МГУ им. М. В. Ломоносова, созданный на новом решении «Т-Платформ» — «A-Сlass» — даже заняла
Жидкость для потребительских свойств
Компания РСК в Лейпциг привезла свое решение с полным жидкостным охлаждением PetaStream, которое впервые было представлено общественности на выставке SC’13 в Денвере. Благодаря ему, еще тогда, полгода назад компания констатировала установление абсолютного мирового рекорда вычислительной и энергетической плотности на уровне 1 Пфлопс и 400 кВт соответственно — на один стандартный серверный шкаф площадью 1 м2 и высотой 2,2 м.
Спустя шесть с небольшим месяцев за счет ряда новшеств производительность PetaStream выросла еще на 20%, что позволяет упаковать в одой стойке 1,2 Пфлопса. Модернизированный PetaStream стал первым законченным решением в мире с использованием Intel Xeon Phi 7120D. Каждый узел системы (независимый и равнозначный; в одном шкафу их1024 с 250 тыс. потоков) построен на основе этих
Напомним, что в PetaStream задействован отраслевой стандарт электропитания постоянного тока с напряжением 400 В. Как объяснял в Денвере технический директор компании «РСК Технологии» Егор Дружинин, сейчас в мире явно прослеживается тенденция к уменьшению количества преобразований энергии от источника к потребителю. Каждое преобразование (из переменного тока в постоянный, потом обратно и т. д.) снижает КПД системы, и если от них удается отказаться, то возникает весьма ощутимый кумулятивный эффект.
Завершенных коммерческих проектов по установке PetaStream у РСК пока нет, однако платформу уже опробовал ряд российских и зарубежных научных организаций в рамках партнерских отношений, подразумевающих бесплатное предоставление вычислительных мощностей для исследований. Несмотря на отсутствие «живых» денег, данное сотрудничество выгодно отнюдь не только научным коллективам, получающим возможность заниматься решением масштабных задач, на которые у них на их штатной технике просто могло не хватить ресурсов. Но и РСК в данном случае не столько осуществляет благотворительную деятельность, сколько изучает реальный эффект от внедрения своих последних технологий. То есть петафлопсы петафлопсами, но убедиться в том, что пользователи действительно получают с ними какие-то преимущества адекватно можно лишь эмпирически — на практике. Надо полагать, что и потенциальные коммерческие заказчики, приобретающие кластеры не для позиций в Top 500, а для конкретных осмысленных целей, также станут обращать внимание не только на спецификации вычислителя, но и на результаты работы своих коллег-пользователей.
Так или иначе, доклады представителей вышеупомянутых научных групп заняли едва ли не самое значимое место в презентации РСК в Лейпциге. Например, сотрудники Института вычислительной математики и математической геофизики Сибирского отделения РАН СО и Новосибирского государственного университета сообщили, что на RSC PetaStream они осуществили тестирование разработанного ими приложения AstroPhi, моделирующего столкновение галактик. (Этот рядовой в масштабах вселенной процесс в силу его протяженности во времени только с помощью моделирования изучать и можно.) В данном случае ученым удалось создать модель, задействовав более миллиарда расчетных ячеек. По их уверению, время вычислений на одном модуле PetaStream в 6 раз меньше чем на 4 узлах с процессорами Intel Xeon E5-2690.
Специалисты Санкт-Петербургского государственного политехнического университета и Петербургского института ядерной физики «Курчатовский институт» на PetaStream с помощью методов молекулярной динамики изучают различные промежуточные состояния нуклеосом (структурных частей хромосом). Утверждается, что уже на одном вычислительном модуле PetaStream с процессорами Intel Xeon Phi группе удалось достичь производительности 4,6 Тфлопс и скорости решения 1,9 нс/сутки (что бы это ни значило), а это, по уверениям экспертов, сравнимо с
Международный коллектив исследователей из Университета Хельсинки, Института здравоохранения и Рыбинского государственного авиационно-технического университета исследует причины возникновения и динамику развития эпидемии гриппа, прошедшей в
Сотрудниками Химического факультета МГУ им. М. В. Ломоносова при поддержке Лаборатории инновационных вычислений Университета Теннеси на PetaStream была проведена адаптация библиотеки линейной алгебры MAGMA к новой аппаратной архитектуре и выполнены исследования производительности. В ряде тестов достигнутая производительность составила более 60% от теоретической (пиковой), что, по мнению РСК, еще раз свидетельствует о высокой эффективности разработанного компанией решения.
Приоритет пользователя
В компании уверяют, что наращивание производительности PetaStream стало возможным, в первую очередь благодаря применению новых сопроцессоров Intel Xeon Phi 7120D, выпущенных в марте этого года. Впрочем, из общения с исполнительный директором группы компаний РСК Алексеем Шмелевым можно было заключить, что речь не идет о простой замене одних комплектующих на другие. Усовершенствование системы произошло во многих направлениях. Производительность — это только одна из характеристик суперкомпьютера, но не единственная и даже возможно не самая главная; просто ее измерение — самый очевидный и удобный способ продемонстрировать результат модернизации. В обновленном PetaStream в первую очередь произошли серьезные изменения в управляемости системы, а также с точки зрения софтверного стека, возможности диагностировать правильность работы кластера и удобства использования готового решения. Г-н Шмелев в этой связи отмечает, что компания отнюдь не случайно в том году столь существенное время уделила демонстрации результатов работы научных групп. По его словам, в РСК действительно очень большое внимание уделяют тому, чтобы на новой архитектуре пользовательские приложения были максимально эффективны. По большому счету, это единственное, что на самом деле важно. (HPC ради HPC — это бессмыслица.)
Рассуждая о том, насколько трудоемким является процесс масштабирования одного модуля (в Денвере презентация PetaStream произошла именно в таком виде) до законченного вычислительного комплекса, г-н Шмелев отметил, что на уровне стойки потребовалось создать достаточно сложную и технологичную инфраструктуру. Это и система электропитания, и охлаждения, и коммуникаций, и мониторинга и управления. Кроме того, проверить работоспособность одного модуля и множества модулей в стойке — это разные по объему требуемых ресурсов вещи.
Отвечая на вопрос о том, стал ли обновленный PetaStream дороже, г-н Шмелев сообщил, что в данном случае на цену во многом оказывают влияние используемые комплектующие. В первую очередь Xeon Phi, которые традиционно в момент выхода новых поколений стоят дороже, чем в конце морального жизненного цикла. При том стоимость конечного решения для заказчика все же очень сильно будет зависеть от того, где и как он намерен осуществлять инсталяцию — подготовлена ли площадка и пр.
Что касается этих самых коммерческих заказчиков, то г-н Шмелев выразил надежду на то, что ему уже в самом ближайшем будущем удастся порадовать общественность информацией о заключенном контракте. И с большой долей вероятности это будет сделка на территории России.
