ОГРОМНАЯ КОМПЬЮТЕРНАЯ СЕТЬ ОБСЛУЖИВАЕТ КРУПНЕЙШИЙ В МИРЕ УСКОРИТЕЛЬ ЧАСТИЦ

В ноябре, когда физики из Европейского центра ядерных исследований (CERN; Женева) начнут свой великий эксперимент с использованием крупнейшего в мире ускорителя частиц Large Hadron Collider (LHC), компьютерщики из Швейцарии и многих других стран намерены, в свою очередь, приступить к испытаниям самой большой на земле сети grid, созданной для обслуживания научных исследований.

Успех этого эксперимента, призванный ответить на вопросы вроде: “Какие неизвестные нам элементарные частицы существуют во вселенной?”, — будет в значительной мере зависеть от охватывающей весь мир высокоскоростной сети, которая позволит ученым задействовать вычислительную мощность 100 тыс. компьютеров (в основном это настольные ПК) для обработки гигантских объемов данных.

Мир состоит из частиц материи. В настоящее время ученым известна лишь малая их часть. Расширив наши представления о том, что еще составляет окружающий нас мир, ученые смогут лучше понять устройство самой Вселенной.

Основная магистраль, работающая на скорости 10 Гбит/с и связывающая 11 центров обработки научных данных, образует ядро крупнейшей в мире международной научной сети. Она была создана, чтобы ученые могли оперировать колоссальными массивами данных, полученными в результате эксперимента.

“LHC представляет собой проложенное под землей кольцо с длиной окружности 27 км, в котором протоны разгоняются до высоких энергий и сталкиваются друг с другом, создавая фейерверк частиц, — рассказал Франсуа Грей, директор CERN по ИТ-коммуникациям. — Огромные подземные детекторы будут считывать возникающие в результате столкновений сигналы от миллионов каналов каждые 25 нс. От четырех детекторов в систему хранения станут ежесекундно поступать сотни мегабайтов данных”.

Помимо сведений о том, из чего состоит вселенная, компьютерная сеть LHC Computing Grid даст сетевым инженерам и другую важную информацию например, они узнают, как можно использовать одну из крупнейших 10-гигабитных сетей мира и управлять ею.

“Каждому интересно посмотреть, как кто-то создает крупную магистральную сеть такого масштаба. Мы стали испытательным полигоном. Люди ждут, что произойдет, — сказал Грей. — А у нас нет выбора, поскольку нам такие скорости необходимы. Кроме того, мы многое узнали о пересылке данных на высоких скоростях и о том, как оптимизировать взаимодействие 10-гигабитной сети с более медленными соединениями”.

В проекте примут участие около 200 организаций из 80 стран мира, многие из которых имеют собственные крупные центры обработки данных (ЦОД). Ожидается, что ежегодно нужно будет "перелопачивать" 15 Пб данных, полученных с помощью LHC.

“Мы довольно быстро поняли, что не существует способа хранить и обрабатывать все эти данные здесь же, в CERN, — сказал Грей. — И тогда возникла идея объединить ресурсы с помощью сети grid”.

Сеть имеет трехуровневую иерархию. CERN образует нулевой уровень, “первоисточник”. Полученные из него наборы данных будут распределяться между 11 ЦОДами в Европе, Северной Америке и Азии, которые, по словам Грея, составляют уровень 1.

ЦОДы уровня 2 находятся главным образом в более чем 250 университетах по всему миру. Здесь физики займутся анализом полученных данных.

В LHC Computing Grid для объединения всех ЦОДов уровня 1 будет использовано так называемое “темное оптоволокно” (dark fiber), имеющееся в национальных и международных исследовательских сетях. Это позволяет передавать данные со скоростью 10 Гбит/с независимо от пункта назначения. Для поддержания связи с участниками проекта из Канады, Тайваня и США задействованы коммерческие линии связи.

В Северной Америке два ЦОДа уровня 1 находятся в США и один в Канаде. Это соответственно Fermi National Accelerator Lab (Батавия, шт. Иллинойс), Brookhaven National Laboratory (Лонг-Айленд, шт. Нью-Йорк) и Triumph Laboratory (Ванкувер, пров. Британская Колумбия).

В силу природы вычислительных задач используемые в сети grid ПК не должны обмениваться между собой информацией на очень высоких скоростях. Поэтому, как сказал Грей, они объединены с помощью ПО промежуточного слоя для осуществления “обычных параллельных вычислений”.

Детекторы фиксируют картину столкновения частиц, которая анализируется с целью выявления характерных особенностей. “Одно столкновение никак не связано со следующим, а значит, можно применять обычную параллельную обработку данных”, — поясняет Грей.

Установленные в CERN серверы, дисковые массивы и ПК объединены в гигабитную сеть с помощью коммутаторов ProCurve производства Hewlett-Packard. Из 100 тыс. необходимых для проекта процессоров CERN выделит примерно 10%. А в общей сложности организация предоставит около 8 тысяч компьютеров на базе одно- или двухъядерных процессоров, которые будут работать под управлением версии Linux, именуемой Scientific Linux CERN.

ПК, используемые в CERN, представляют собой потребительские компьютеры, произведенные различными небольшими фирмами. “Мы приобретаем их недорого и в больших количествах, — сообщил руководитель группы коммуникационных систем в ИТ-департаменте CERN Дэвид Фостер. — Приложения для физических исследований могут выполняться в параллельном режиме, но независимо друг от друга, каждое на отдельном компьютере. Поэтому любой вышедший из строя ПК можно заменить и выполнявшуюся им задачу запустить заново”.

“Обычно в качестве рабочих лошадок мы используем двухпроцессорные ПК в форм-факторе 1U типа “коробка с пиццей”, которые устанавливаем в 19-дюймовые стойки”, — рассказала Хельге Майнхард, технический координатор закупок серверов в CERN.

Хотя основная часть из примерно 8000 ПК имеет один одноядерный процессор, около 750 компьютеров созданы на базе двух двухъядерных чипов.

В целях администрирования все ПК разделены на группы. Сначала выявляются свободные компьютеры, затем им назначаются задачи.

Коммутаторы HP — 600 ProCurve 3400cl, 400 ProCurve 3500yl и 20 ProCurve 5400 — позволяют всем используемым в CERN процессорам обмениваться данными со скоростью 1 Гбит/с, а с основной магистралью сети grid они связаны 10-гигабитными каналами. В сети используются главным образом оптоволоконные соединения, хотя применяется также неэкранированная витая пара категории 6 для объединения компьютеров со скоростью обмена 1 Гбит/с.

На основной магистрали установлено 16 десятигигабитных маршрутизаторов производства Force10 Networks, которые связывают сеть CERN с другими участниками проекта.

Продукты компаний HP и Force10 Networks были выбраны для LHC Computing Grid благодаря широкому набору функций, эффективности работы с учетом затрат и “…огромному желанию HP работать с нами на уровне инжиниринга над решением возникающих проблем”, заявил Фостер от имени CERN.

Важнейшими функциями коммутаторов ProCurve являются безопасность и управляемость. “Мы должны иметь возможность автоматизировать управление, чтобы пользоваться столь крупной сетью, и хотим обеспечить ее безопасность в такой степени, чтобы доступ в нее можно было получить только с определенных MAC-адресов”, — сказал Фостер.

Компания HP упростила управление предназначенными для CERN коммутаторами. Она сделала возможным выполнение различных управляющих действий на них с использованием стандартного протокола SNMP. “А кроме того, HP позволила измерить температуру коммутатора через SNMP и с помощью того же SNMP настроить устройство”, — пояснил Пьер Бьюно, рекламный агент HP, работающий в Женеве.

Ускоритель Large Hadron Collider

Мощный ускоритель частиц, установленный в CERN:

  • заставляет протоны и ионы сталкиваться при встречном движении. Добиться первых эффектов столкновения планируется в середине 2008 г.
  • разгоняет частицы до скорости, достигающей 99,999999% скорости света
  • разгоняет движущиеся по кольцу в вакууме и направляемые магнитами пучки протонов и ионов
  • предназначен для воссоздания условий, которые существовали во Вселенной через доли секунды после “большого взрыва”
Источник: CERN.

“Мы должны были убедиться, что сможем работать с HP и в будущем и что компания готова сотрудничать с нами, стараясь добиваться еще более высоких результатов. Нам также нравятся характер установившихся между нами отношений и планы развития технологий HP”, — добавил Грей.

“CERN является для нас очень важным клиентом, — заявил Виктор Свенссон, менеджер HP по развитию бизнеса, работающий в Гренобле. — Мы оказываем им техническую поддержку напрямую и на самом высоком уровне. Это выходит за рамки постпродажных обязательств и переходит в область стратегического партнерства между нашими организациями”.

То обстоятельство, что HP строго придерживается стандартов, также имело большое значение при выборе этой компании. “Одним из факторов, способствовавших нашему успеху, стало то, что мы соблюдаем стандарты. Таково было одно из важнейших требований”, — сказал Свенссон. “CERN не хотел использовать нестандартные функции. Этот центр сотрудничает с различными производителями сетевого оборудования”, — добавил Бьюно.

Когда эксперимент начнётся, 7 тысяч ученых будут анализировать данные, чтобы подтвердить существование неуловимых бозонов Хиггса или пока еще не доказанной теоретической суперсимметрии элементарных частиц. Никто никогда не видел бозон Хиггса. Но ученые считают, что если бы его удалось обнаружить, это помогло бы объяснить, почему электрон несет отрицательный заряд, а протон — положительный.

Ученые приступят к экспериментам в ноябре. Сначала пройдут испытания, в ходе которых пучки протонов будут разгоняться до невысоких энергий. Первые столкновения частиц с высокой энергией, как сообщили в CERN, должны начаться в середине 2008 г. Там же нам рассказали, что исследователи задумались об установке вроде LHC в начале 80-х. В 1989—2000 гг. в CERN применялся большой ускоритель электронов и позитронов (Large Electron Positron Collider). Ученые решили использовать проложенное для него под землей бетонное кольцо, чтобы создать ускоритель еще большей мощности.

С помощью телескопов исследователи способны обнаружить 3% вещества, из которого состоит Вселенная. Остальные 97% остаются загадкой. “Имеется множество претендентов на роль темной материи (dark matter) и в том числе суперсимметричные частицы. Есть надежда их обнаружить, — пояснил Грей. — Эту идею разделяют немногие, но она носит достаточно фундаментальный характер. Речь идет о понимании устройства Вселенной”.

Тем, что связывает весь проект в единое целое и открывает возможность сбора и анализа данных, является промежуточное ПО grid. “Именно этот слой ПО позволяет вам заниматься анализом, не заботясь о местонахождении данных или о наличии в сети grid необходимой вычислительной мощности”.

Коммутаторы HP имеют важнейшее значение для обслуживания ускорителя CERN

Для модернизации внутренней сети CERN в рамках проекта Large Hadron Collider потребовалось не просто соединить между собой 8 тыс. процессоров, установленных в ПК, которые используются в ЦОД. Помимо этих “работающих в пакетном режиме узлов” (batch worker nodes) — они же процессоры в настольных компьютерах — к коммутаторам Hewlett-Packard ProCurve будут подключены высокопроизводительные приводы магнитных лент, на которых предстоит хранить данные, и оборудование, образующее буфер между процессорами и приводами. По словам Хельге Майнхард, технического координатора закупок серверов в CERN (г. Женева), такой буфер составят ПК с интегрированными жесткими дисками.

Около 2 тыс. серверов, работающих с лентами и дисками, объединены при помощи коммутаторов ProCurve серий 3400 и 3500 в сеть Gigabit Ethernet. К ней же и тоже на гигабитной скорости подключены и ПК.

“Для дисковых серверов и ленточных приводов у нас выделен один коммутатор, соединенный посредством 10 Gigabit Ethernet с единственным портом маршрутизатора”, — сказала Майнхард.

Любой коммутатор, если его подключить непосредственно к маршрутизатору TeraScale E-Series компании Force10 Networks, использует канал со скоростью 10 Гбит/с. И сами маршрутизаторы, которых в общей сложности насчитывается порядка 16, соединены друг с другом каналами с той же пропускной способностью.

“К серверам у нас предъявляются более скромные требования по пропускной способности. Поэтому мы создали каскад из четырех 48-портовых коммутаторов ProCurve и подключили эту сборку из четырех коммутаторов к одному 10-гигабитному порту маршрутизатора. Мы подключаем до 188 процессорных узлов к единственной 10-гигабитной линии”, — сказала Майнхард.

Маршрутизаторы компании Force10 соединяют CERN на скорости 10 Гбит/с и с подключенными к сети grid ЦОД уровня 1. Всего в модернизированной сети CERN насчитывается около шестисот коммутаторов ProCurve 3400cl, четыреста — ProCurve 3500yl и двадцать — ProCurve 5400.

Неблокируемый маршрутизатор ядра сети способен обеспечить совокупную пропускную способность на уровне 2,4 Тбит/с. Восемь маршрутизаторов Force10 E1200 имеют 40 портов, работающих на скорости 10 Гбит/с. Они образуют центральный узел связи для процессоров ПК, сведенных в одну “ферму”, и подключены еще к двум маршрутизаторам E1200, составляющим уровень агрегации данных.

Два маршрутизатора Force10 E600, которые имеют выход в Интернет на скорости 10 Гбит/с, обеспечивают связь через Атлантику с ЦОДами в США. Остальные маршрутизаторы модели E1200 предназначены для работы с подключенными к сети grid ЦОД уровня 1, находящимися в Европе и Азии.

Паула Мусич

ПО промежуточного слоя, с помощью которого проводится оптимизация работы сети grid, включает такие элементы, как брокеры ресурсов. В каждый заданный момент времени они определяют, какие ЦОДы располагают необходимыми вычислительными ресурсами для решения задач, передаваемых им полномочными физиками, и решают, в каком месте будет выполняться задание.

Имеется три категории задач, которые ПО промежуточного слоя (собственная разработка CERN) будет распределять между компьютерами. “Это может быть моделирование физического взаимодействия в детекторе, или реконструкция сигналов детектора, действительных либо полученных путем моделирования данных, или же физический анализ, когда значение множества переменных вычисляется с помощью статистических методов”, — сообщила сотрудница CERN Майнхард.

В ПО промежуточного слоя заложены также функции аутентификации и авторизации. Они гарантируют, что подключенным к сети grid научным организациям будет предоставлен соответствующий уровень доступа, а всем остальным, по словам Грея, не удастся получить полную свободу действий.

Промежуточное ПО, насчитывающее более 1 млн. строк кода, было разработано при помощи открытого набора инструментов Globus Toolkit. Оно выполняет также функции ведения учетных записей. “Это дает уверенность в том, что никто не захватит все ресурсы сети grid, — считает Грей. — Кроме того, данное ПО обеспечивает безопасность и мониторинг сети, чтобы она могла работать 24 ч в сутки семь дней в неделю”.

“Потребовались значительные усилия инженеров, чтобы гарантировать стабильность ПО промежуточного слоя и его надежную работу в будущем году, когда начнут поступать реальные данные, — продолжает Грей. — Оно постоянно совершенствуется, подвергается реинжинирингу, повышается уровень его защиты. Все это должно обеспечить поддержку данного ПО на современном уровне”.

Сегодня, когда завершена работа над ускорителем, CERN и его партнеры проводят испытания сети grid, имитируя пересылку многогигабайтных файлов и больших объемов данных, чтобы проверить ее устойчивость.

Кроме того, CERN возглавил кампанию за создание европейской сети grid для обслуживания представителей различных наук. Многие ученые испытывают потребность в такой сети. Необходимость в ней возникает и при проведении целого ряда экспериментов.

“В долгосрочном плане grid-сети будут развиваться так же, как Интернет, — считает Грей. — Когда-нибудь они объединятся, для них будут разработаны единые стандарты. В результате ученому достаточно будет передать вычислительную задачу в сеть, не интересуясь, кто ее решит. Но мы еще очень далеки от этого”.

В ноябре, когда наступит пора экспериментов, в рамках проекта начнется сбор данных, обработка которых займет 15 лет. Правда, изучать эти данные можно будет на протяжении многих лет и после того, как ускоритель LHC уже перестанет функционировать.