В День космонавтики в Самарском государственном аэрокосмическом университете им. академика С. П. Королева (СГАУ) запущен в эксплуатацию новый суперкомпьютерный центр (СКЦ) “Сергей Королев” с пиковой производительностью 10 Тфлопс. Этот, первый в Самарской области, высокопроизводительный суперкомпьютер предназначен для решения научно-исследовательских задач, проводимых СГАУ в новом статусе — национального исследовательского университета. Проектирование центра, поставку, монтаж и пусконаладку оборудования выполнил региональный системный интегратор — самарская группа компаний “Парус”. Суперкомпьютерный центр построен на базе вычислительного кластера IBM и инженерной инфраструктуры APC. Об особенностях данного проекта проректор по информатизации СГАУ Венедикт Кузьмичев и директор ООО “Парус” Виктор Ломакин рассказали нашему обозревателю Владимиру Митину.

PC Week: Чем была вызвана необходимость реализации данного проекта?

Венедикт Кузьмичев: В прошлом году СГАУ получил статус национального исследовательского университета и стал одним из ведущих вузов страны, осуществляющих подготовку кадров, а также научные исследования и разработки в интересах авиационно-космической, геоинформационной, оборонной и других высокотехнологичных отраслей экономики страны. Для этих работ требуются высокопроизводительные вычисления. Данный проект реализован как часть инновационной образовательной программы “Развитие центра компетенции и подготовки специалистов мирового уровня в области аэрокосмических и геоинформационных технологий” национального проекта “Образование”. Кроме того, нам была оказана поддержка правительства Самарской области в рамках региональной программы “Развитие среды генерации знаний на базе межвузовского медиацентра путем создания суперкомпьютерного центра, ориентированного в том числе на исследования в сфере нанотехнологий и наращивания телекоммуникационной инфраструктуры”.

PC Week: Почему для реализации данного проекта СГАУ выбрал компанию “Парус”?

В. К.: Эта компания давно работает с нами в части реализации комплексных проектов по компьютерным сетям, корпоративной сети передачи данных, оснащения серверных помещений, поставки и сопровождения вычислительной техники и серверного оборудования. Так, в 2005—2008 гг. ею были выполнены работы по оснащению компьютерной и телекоммуникационной инфраструктурой Межвузовского медиацентра СГАУ. В середине 2009 г. “Парус” поставил нам кластер HP BladeSystem c3000 производительностью 1,5 Тфлопс, который в настоящее время успешно эксплуатируется сотрудниками университета. Одним словом, “Парус” зарекомендовал себя надежным партнером. Поэтому мы и доверили этой компании оснащение нашего нового суперкомпьютерного центра.

PC Week: Почему за основу были взяты решения IBM и APC?

Виктор Ломакин: Разработанная АРС инфраструктура для ЦОДов, сопровождаемая специальной системой качества по созданию и внедрению проектов, не имеет аналогов, а соотношение качество/цена у данной инфраструктуры, на наш взгляд, наиболее приемлемое. Среди прочего, это подтверждается успешным практическим опытом реализации более 10 проектов на данном оборудовании, выполненных нами с 2006 г. Что касается оборудования вычислителя, то здесь наш совместный со СГАУ выбор объясняется тем, что IBM является признанным лидером в области построения высокопроизводительных кластерных решений.

PC Week: Что дал университету этот проект и как скоро он окупится?

В. К.: СГАУ получил современный вычислительный комплекс, который сможет обеспечить решение текущих и перспективных научно-исследовательских задач, расширит горизонты научных исследований, позволит решать совместные задачи с предприятиями авиационно-космического профиля и, самое главное, не только учить студентов, но и повышать квалификацию специалистов со стажем с использованием самых передовых информационных технологий. Говорить о конкретных сроках окупаемости вложений в подготовку специалистов достаточно трудно. Да и едва ли есть методика точного подсчета этих сроков.

PC Week: Что сейчас представляет собой СКЦ “Сергей Королев”?

В. Л.: На первом этапе данного проекта выполнены проектирование и установка универсальной инженерной инфраструктуры СКЦ на базе комплексного решения APC InfraStruXure, включающего шесть напольных 19-дюймовых шкафов высотой 42U. При этом применяется HACS-технология АРС (Hot Aisle Containment System) для изоляции так называемого “горячего коридора” — модульных панелей и перегородок, объединяющих шкафы в единую конструкцию и обеспечивающую высокую эффективность системы охлаждения.

Затем были осуществлены поставка и ввод в эксплуатацию ИБП Symmetra PX и кластера IBM Cluster e1350 (восемь шасси IBM BladeCenter H, сервер управления кластером IBM x3650 M2, коммутаторы сети InfiniBand производства QLogic и другое оборудование) с пиковой производительностью 10 Тфлопс (на тесте Linpack — 8,542 Тфлопс). Сейчас мощность потребления установленного вычислительного оборудования IBM составляет около 40кВт. Кроме того, от ИБП Symmetra PX питается система кондиционирования.

PC Week: С какими трудностями пришлось столкнуться при реализации данного проекта?

В. Л.: Проект выполнялся в условиях отложенного финансирования и при весьма сжатых сроках поставки и монтажа оборудования. Это потребовало привлечения собственных инвестиций для начала проекта. Работы проводились в весьма интенсивном режиме, при постоянном контроле менеджеров нашей компании, дистрибьюторов и производителей. По нашему опыту, такие проекты реализуются не менее чем за шесть месяцев, мы уложились практически в четыре. В процессе настройки кластера были трудности, связанные с запуском новых моделей оборудования. Так для пусконаладки коммутатора InfiniBand QLogic 12800-180 потребовалось участие производителя в написании новых прошивок микрокодов оборудования. Тесное сотрудничество со службой поддержки производителя позволило быстро решить эти проблемы.

PC Week: Какое системное и прикладное ПО используется в СКЦ “Сергей Королев” сейчас и какое предполагается использовать в будущем?

В. К.: В данном проекте поставлялось только системное ПО. В настоящее время на всех узлах кластера установлено лицензионное программное обеспечение Red Hat Enterprise Linux Release 5, включающее ПО управления кластером xCAT (Extreme Cluster Administration Toolkit). Для управления инфраструктурой используется комплекс программно-аппаратного обеспечения APC InfraStruXure Central. В качестве прикладного ПО суперкомпьютера предполагается использовать программную систему конечно-элементного анализа ANSYS для моделирования задач газодинамики, аэродинамики, механики и т. д., системы инженерного анализа и проектирования Unigraphics, Star — CD, FlowVision и т. п.

PC Week: Как примерно в данном проекте выглядит соотношение стоимость оборудования/стоимость лицензионного ПО/стоимость услуг по установке оборудования?

В. К.: Данное соотношение выглядит примерно так: 85:3:12.

PC Week: В каком направлении будет развиваться данный проект?

В. К.: В перспективе в рамках уже смонтированной и запущенной инженерной инфраструктуры запланировано увеличение мощности кластера IBM до 25 Тфлопс. Соответствующий задел для этого имеется. Проект по данному кластеру разрабатывался для размещения оборудования IBM в шести стойках. В настоящее время из этих шести стоек используются только три. Есть резерв мощности и у ИБП Symmetra PX. Сейчас его полная выходная мощность составляет 112 кВ•А (96 кВ•А c резервированием N+1), но путем добавления модулей её без труда можно увеличить до 160 кВ•А.

PC Week: Спасибо за беседу.