РСК: итоги года и перспективы жидкостного охлаждения

В конце января группа компаний РСК подвела итоги 2011 г. и обозначила перспективы дальнейшего развития бизнеса.

Итоги и обобщения

Собственно итоги года РСК в чистом виде были весьма краткими: совокупный оборот группы вырос более чем в 1,5 раза (без численных уточнений); количество реальных заказчиков возросло с одного до пяти.

По уверению исполнительного директора РСК Алексея Шмелева, компания стала опытнее и мудрее, научившись лучше понимать вызовы рынка. Ключевым моментом года он считает создание группы компаний. Ранее разработчик выступал под брендом “РСК СКИФ”; теперь это название всего лишь одного подразделения, а структура выглядит следующим образом: “РСК Технологии” — разработчик технологий с полным циклом R&D (исследований и разработок), опытно-конструкторского производства образцов и организации выпуска серийной продукции; “РСК Софт” — разработчик полного программного стека решений для повышения эффективности работы и прикладного использования суперкомпьютерных комплексов от системного ПО до вертикально-ориентированных платформ на базе технологии облачных вычислений; “РСК СКИФ” — интегратор “полного цикла” вплоть до разработки и инсталляции ЦОДов под ключ; “РСК Системы” — компания, специализирующаяся на гарантийной поддержке и предоставлении сервисных услуг; “РСК Дизайн” — научно-исследовательская компания для разработки перспективных технологий, являющаяся кандидатом на статус резидента инновационного центра “Сколково” (заявка принята и находится в процессе финализации).

Объясняя, зачем была проведена подобная реструктуризация, г-н Шмелев отметил, что в компании хотели развивать новые инновационные направления. РСК было важно усилить экспертизу на ключевых направлениях бизнеса, а также обеспечить как можно большую гибкость в работе с клиентами и партнерами.

С технологической точки зрения самым значимым событием для группы было названо представление энергоэффективной архитектуры “РСК Торнадо”: специалистами российской компании впервые в мире разработано и реализовано жидкостное охлаждение для стандартных и массово доступных серверных плат (различных производителей) на базе процессоров Intel Xeon, изначально созданных для традиционных систем с воздушным обдувом электронных компонентов. Это второе поколение энергоэффективных решений РСК для сегментов высокопроизводительных и облачных вычислений, которое уже внедрено в ЮУрГУ, Росгидромете и МФТИ.

Среди ключевых характеристик “РСК Торнадо” была названа рекордная, по расчетам компании, энергоэффективность. Показатель эффективности использования электроэнергии (отношение энергопотребления всей системы к энергопотреблению электронных компонентов) достигает значения 1,06. То есть не более 5,7% энергопотребления будет расходоваться на охлаждение всей системы.

Кроме того, в РСК отмечают высокий коэффициент вычислительной эффективности: 92% для процессоров Intel Xeon 5680 (режим Turbo Boost работает все время) по тесту Linpack. Архитектура способна использовать самые высокопроизводительные модели серверных процессоров Intel с тепловыделением 135 Вт. Вычислительная мощность составляет более 47,5 Тфлопс в одной стойке на базе архитектуры Intel x86. Плотность вычислений — 74 Тфлопс/м2.

Закономерным совокупным результатом в компании считают тот факт, что суперкомпьютер РСК стал самой энергоэффективной российской системой в мировом рейтинге Green 500.

Жидкостное охлаждение

Для того чтобы понять степень перспективности изысканий РСК, стоит обратиться к докладу директора технологического сектора высокопроизводительных вычислений Intel в регионе EMEA (страны Европы, Ближнего Востока и Африки) Андрея Семина. Не секрет, что следующим психологически важным рубежом развития технологий станет создание системы экзафлопсного уровня. По словам г-на Семина, несколько лет назад группа экспертов из его компании провела исследования на предмет того, что будет представлять собой такой суперкомпьютер с точки зрения энергопотребления, если бы он был сделан прямо в тот момент. В результате получалось, что процессором потреблялось бы порядка 70 МВт энергии, памятью — 80 МВт, сетевым процессором — 70 МВт, дисками — 10 МВт. При этом требовалось бы еще столько же энергии, чтобы данную систему охладить, используя широко распространенные средства. В общем такая технология потребляла бы 500 МВт электроэнергии. Таким образом, специалисты заключили, что постройка вычислителя практически невозможна.

По всем расчетам экзафлопсный компьютер должен появиться в 2018—2019 гг. Понятно, что к тому времени по закону Мура электроника станет эффективнее и т. д. Однако при всех поправках на развитие техники система все равно будет потреблять порядка 66 МВт.

Мало кто знает, что министерство энергетики США намерено к 2018 г. получить экзафлопсный компьютер на 20 МВт. Это более чем в три раза отличается от вышеупомянутых 66 МВт, и, значит, ситуация неприемлема. Нужно как-то оптимизировать систему на 46 МВт.

Специалисты солидарны в том, что за счет увеличения эффективности охлаждения можно сэкономить порядка 20 МВт, что в пересчете на деньги даст примерно 30 млн. евро в год (по сегодняшним ценам на электроэнергию в Германии). Эти выкладки серьезно стимулируют инвесторов к вложению средств в разработку новых технологий охлаждения. При росте плотности, количества вычислений и цен на электричество такая технология буквально становится жизненной необходимостью. Более того, вполне вероятно, именно она станет определять, возможно ли в принципе построить экзафлопсный суперкомпьютер.

По уверению г-на Семина, на отраслевых выставках постоянно можно увидеть технологии, ориентированные на решение проблемы энергоэффективности, и большую их часть объединяет тот факт, что все они пытаются использовать жидкостное охлаждение.

Почему же жидкость, а не что-то другое?

У воды многократно более высокая теплоемкость, что не нуждается в дополнительных пояснениях. При этом жидкость несжимаема — в отличие от воздуха для нее не нужно создавать избыточное давление, чтобы она переместилась из одного места в другое. И соответственно у воды возникает меньше турбулентности, которая требует еще большего давления для перемещения.

По общим расчетам первый экзафлопсный компьютер будет иметь плотность энергии не менее 80 кВт на шкаф. Четыре года назад эта цифра звучала как недостижимая. Сегодня она вполне реальна.

По словам г-на Семина, компания Intel проанализировала существующие подходы к жидкостному охлаждению (в отношении электроники это далеко не новая вещь). Было выделено три типа систем. Первые — инверсионные, в которых электроника погружается в жидкость с определенными свойствами. (Это то, что делала компания Cray в машинах CDC еще 25—30 лет назад.) Речь идет о жидкостях, которые активно не взаимодействуют с материалами и не окисляют их (в нее можно положить мобильник, и он будет работать). Сейчас такие жидкости стали относительно дешевыми. Например, некое по сути минеральное масло — оно похоже на машинное, но гораздо лучше очищено и даже по цене не намного его превосходит.

Преимущество такого типа в том, что с ним можно использовать практически любое решение, доступное сегодня, лишь с небольшой модернизацией: убрать ненужные вентиляторы и заменить жесткие диски, вращающиеся части которых это масло не любят. В остальном все будет работать.

Есть и недостатки. Решение довольно массивно (требуется контейнер с маслом) и не даёт никакого выигрыша в плотности вычислений (она даже меньше, чем при воздушном охлаждении).

В решении второго типа, к которому относится большинство сегодняшних систем жидкостного охлаждения, электронные компоненты частично покрываются теплосъемными пятнами, охлаждаемыми водой. Способ тоже не новый. Используется для охлаждения отдельных элементов системы (не целиком).

Преимуществом здесь является тот факт, что такой подход позволяет использовать большинство распространенных компонентов. Причём новый дизайн системы разрабатывается буквально за две недели.

Недостаток же заключается в том, что удаляется не все тепло — в лучшем случае 90%. В плотно упакованном сервере это серьезная проблема: 10% приходится охлаждать воздухом.

Решение выходит дорогим и с точки зрения производства, потому что оно очень плохо автоматизируется. Сборка охлаждающих трубочек и пр. до сих пор ведётся вручную, и вряд ли тут что-то изменится в ближайшее время.

Третий тип — использование охлаждающей пластины, которая полностью закрывает сервер. Именно этот подход исповедуют РСК и еще несколько компаний, в частности Fujitsu. Он позволяет достичь наибольшей плотности вычислений, имеет по-видимому самую низкую стоимость производства. (Но только в том случае, если правильно сделан дизайн; при неправильном — решение дороже.)

По утверждению г-на Семина, у решения РСК изначально были проблемы с весом (оно довольно плотное), но сейчас проблемы эти сняты.

Главная сложность состоит в том, что требуется очень профессиональная команда разработчиков, в частности для изготовления охлаждающей пластины. Инженеры должны быть хорошо знакомы с теплотехникой, гидравликой, гидродинамикой и т. д. В России такие люди есть, поэтому систему возможно было изготовить именно в Москве, а не, скажем, в Китае, где хорошо умеют тиражировать вещи, но не создавать их.

Резюмируя свой доклад, г-н Семин отметил, что сейчас на рынке присутствуют все три типа систем жидкостного охлаждения, но у последнего из них наилучшее соотношение цена/производительность.

От теории к практике

В заключение хочется сказать вполне очевидную вещь. В мире прикладных технологий все в конечном счете определяется мнением заказчика, и всех в итоге рассудит опытная эксплуатация.

Как уже упоминалось, у РСК в этом году число реальных заказчиков возросло с одного до пяти. Речь идет о Южно-Уральском государственном университете (ЮУрГУ, Челябинск), Федеральной службе по гидрометеорологии и мониторингу окружающей среды (Росгидромете), Московском физико-техническом институте (МФТИ), Северо-Восточном федеральном университете (СВФУ, Якутск, Республика Саха) и студии Main Road|Post (создание визуальных эффектов для киноиндустрии).

Все они находятся в России, все доступны, и в перспективе с каждым из них можно будет связаться и выяснить, насколько оправданны сегодняшние надежды РСК и теоретические построения Intel. (К тому же в планах РСК на 2012 г. — выход в новые сегменты рынка и существенный рост числа заказчиков решений на базе архитектуры “РСК Торнадо”, и, значит, выборка будущего исследования обещает стать еще больше.)

Важно то, что подобные эксперименты в последнее время в принципе стали возможны в нашей стране. Остальное — несущественные подробности прогресса с большой буквы.