С каждым годом значимость такой составляющей сетевой инфраструктуры операторов связи, как ЦОД возрастает, растут и технические требования к ней. О том, как в «ВымпелКоме» успевают за современными технологиями и соблюдают баланс между инвестициями и техническими новинками, рассказал Александр Трикоз, директор Ярославского технического центра OAO «ВымпелКом».

С прицелом на развитие

В настоящее время у «ВымпелКома» в России порядка 200 ЦОДов емкостью от 50 до 300 стоек. Практически в каждом сравнительно крупном городе есть дата-центр, а в мегаполисах, республиканских и областных центрах зачастую два или более. Оборудование с годами меняется. Например, сравнительно недавно отменены требования к обязательному использованию химических батарей в системах бесперебойного питания, что позволило сократить объемы оборудования.

Московский дата-центр располагался на улице 8 Марта. Несколько лет назад мы поняли, что необходим еще один центр в качестве disaster recovery. Этот центр был создан на другой площадке — в Сокольниках.

ЦОД на ул. 8 Марта постоянно достраивался, приходилось подводить все большие электрические мощности, закупались дизель-генераторы, подключались все большие мощности опорной оптоволоконной сети. Спрос на трафик и вычислительные мощности с годами постоянно рос, и в какой-то момент стало понятно, что резервы территории не безграничны и дальнейшее умощнение ЦОД в какой-то момент окажется невозможным. В 2010 г. было принято решение построить новый ЦОД, который бы не просто удовлетворил текущие потребности на момент ввода в эксплуатацию, но и послужил заделом для дальнейшего развития корпоративной ИКТ-инфраструктуры как минимум на ближайшее десятилетие. На тот момент проект воспринимался как настоящий вызов, поскольку новый ЦОД должен был соответствовать мировым стандартам, применяемым к дата-центрам. Даже в наши дни общее число дата-центров подобного уровня в России не превышает нескольких десятков.

Одним из основных требований при разработке проекта стало обеспечение надёжного функционирования проектируемого ЦОДа. Не менее пристальное внимание в ходе планирования уделялось окупаемости инвестиций в строительство в разумные сроки, а также соответствию объекта самым жёстким требованиям экологической чистоты. Исходя из совокупности поставленных задач, мы сделали ставку на модульные решения компании Schneider Electric, которая наряду с оборудованием для ЦОДов предлагает комплексный подход к управлению его инженерными системами, способствующий повышению эффективности их использования.

Дополнительную экономию средств и гарантированную взаимную совместимость всего заказанного оборудования обеспечил тот факт, что Schneider Electric стала поставщиком системы энергоснабжения объекта в целом. Полный перечень поставленного оборудования включает ячейки SM6, RM6, трансформаторы Trihal, шкафы Okken, шинопроводы Canalis и систему EMCS. Все эти узлы и агрегаты полностью соответствуют российским и мировым требованиям, имеют высокую заводскую готовность, минимальные сроки монтажа и рассчитаны не менее чем на тридцатилетний срок эксплуатации.

В результате уже к концу минувшего года в индустриальном технопарке «Новоселки» под Ярославлем на площади 7 га был построен и введён в эксплуатацию первый модуль Ярославского технического центра «ВымпелКома», получивший сертификат уровня надёжности TIER III по классификации Uptime Institute, а также отвечающий целому ряду других индустриальных стандартов: TIA-942, BICSI-00, ASHRAETC 9.2. Центр состоит из главного здания, в котором располагаются собственно модули ЦОДа, Федеральный центр мониторинга и управления сетью, Объединенный центр обслуживания ОАО «ВымпелКом» и современный офис. Площадь построек составляет 32 тыс. м².

Примечательно, что монтаж технологического оборудования ЦОДа начался ещё в сентябре 2013-го, до завершения полного цикла строительства основного здания, чему способствовала модульная структура дата-центра и тщательно продуманный график ввода в эксплуатацию всех систем его жизнеобеспечения.

Модульная архитектура — ключ к эффективности

Модульная структура ЦОДа была выбрана не случайно на самом раннем этапе планирования. Технико-экономический анализ и прогноз развития телекоммуникационной отрасли на ближайшие 10–15 лет, проведённый экспертами «ВымпелКома», показал, что наиболее выгодным окажется именно постепенное введение в эксплуатацию всё новых вычислительных мощностей по мере роста потребности компании в них и развития бизнеса компании. При этом новые мощности имеет смысл размещать в здании, оснащённом всей необходимой инфраструктурой.

Комплекс Ярославского ЦОДа включает помимо главного здания энергомодули для размещения системы дизель-динамического источника бесперебойного питания, распределительные подстанции, контрольно-пропускной пункт, собственную котельную, топливохранилища, очистные сооружения и различные вспомогательные постройки. Исходная нацеленность проекта на модульный принцип заполнения дата-центра вычислительными средствами по мере надобности позволил найти удачный баланс между имевшимися для его реализации финансовыми средствами и качеством закупленного на эти средства оборудования.

Первая очередь

В декабре 2014 года был введен в эксплуатацию первый из шести запланированных к размещению в основном здании модулей ЦОДа. Он рассчитан на установку 236 стандартных телекоммуникационных стоек, а предельная ёмкость всех шести машинных залов Ярославского дата-центра составит 1416 стоек.

Соображения разумной экономии играли существенную роль в ходе реализации этого проекта. Так, первоначально предполагалось, что стандартных стоек для телеком-оборудования в каждом зале площадью 500 м² будет лишь 200. Однако профессионализм проектировщиков позволил увеличить фактическую ёмкость машинных залов почти на 20% — до 236 стоек. В состав инфраструктуры модулей ЦОДа входят двухсекционные сухие трансформаторы, сами по себе более дорогие, чем масляные, однако крайне нетребовательные в обслуживании, что обеспечивает им заметно более низкую совокупную стоимость владения.

Россия — страна с не самым жарким (в среднем) климатом; в особенности это справедливо для тех широт, на которых расположился Ярославский технический центр. Приемлемое среднегодовое значение температур окружающей среды позволило проектировщикам новейшего дата-центра сделать ставку на систему естественного охлаждения (Natural free cooling) с косвенным теплообменом AST Modular (входит в Schneider Elecric), которая состоит для каждого модуля из двух камер смешения, магистрального воздуховода и малогабаритных блоков охлаждения MNFC с низким энергопотреблением. Таким образом, до 90% времени в году дата-центр может охлаждаться наружным воздухом, без включения системы кондиционирования.

Благодаря косвенному характеру теплообмена с забортным воздухом обеспечен высокий уровень физической безопасности ИКТ-оборудования независимо от состояния окружающей среды. Эта система так же, как и сами ЦОД-модули, предполагает постепенное развёртывание на подготовленных площадях по мере необходимости; её блоки легко устанавливать и просто обслуживать в течение почти что круглого года, когда на неё приходится основная нагрузка по отводу тепла из машинных залов.

Поэтапное строительство ЦОДа с применением быстро возводимых конструкций заводской сборки органично сочеталось в этом проекте с использованием машинных залов (модульных помещений физической защиты) производства Schneider Electric. Такие залы, устойчивые к внешнему воздействию, в том числе к высоким температурам, позволили монтировать и вводить в эксплуатацию оборудование до завершения строительства здания.

На инженеров, экспертов и консультантов компании Schneider Electric пришлась основная нагрузка по всему комплексу работ, который включал проектирование системы электроснабжения новейшего ЦОДа «ВымпелКома» и его диспетчеризацию, а также поставку и ввод в эксплуатацию электрооборудования. Многие компоненты этого оборудования уникальны не только для отдельно взятой компании-оператора, но и для российского телеком-рынка в целом. Взять хотя бы такой важнейший элемент резервного контура энергоснабжения, как дизель-генератор мощностью 3 тыс. л. с. массой 23 т. Для его монтажа пришлось задействовать стотонный кран, а один только глушитель для этого генератора длиной почти 6 м и массой 1,5 т потребовал для своей доставки и установки решения целого ряда нетривиальных логистических и такелажных проблем.

Надёжность общего энергетического обеспечения комплекса поддерживается буквально на всех уровнях, от дублирования подводимой извне мощности (две линии по 10 МВт, плюс одна выделенная на 1,4 МВт для питания офиса и вспомогательных служб) до детально продуманной конструкции распределительных станций с перемычками, позволяющими автоматически переключать энергоподачу в случае возникновения неполадок. Вдобавок блоки защиты производства Schneider Electric располагают микропроцессорными секциями, которые дают возможность, анализируя огромное количество входящих параметров, на программном уровне корректировать фактический режим работы в зависимости от ситуации.

Разумеется, проект нового ЦОДа «ВымпелКома» предусматривает систему управления и контроля (DCIM), охватывающую весь спектр установленного оборудования. Для контроля ситуации и принятия решений производится непрерывный мониторинг двух типов параметров: оперативных, которые могут сигнализировать о необходимости принятия срочных мер (например, переключения нагрузки между различными аппаратными компонентами), и статистических, методично воссоздающих детальную картину энергопотребления на всех контролируемых участках.

Вся система энергообеспечения дата-центра, опирающаяся на технологии Schneider Electric, сконструирована так, что регламентные или профилактические работы выполняются прозрачно с точки зрения конечного потребителя услуг ЦОДа. В результате обеспечена практически полная гарантия уверенной работоспособности системы в любых условиях, а проектное среднегодовое значение PUE составляет для ЦОДа не более 1,3.

Каким будет этот показатель на практике, еще предстоит оценить в ходе эксплуатации ЦОДа, как и реальную эффективность новых примененных при его создании технологий. Но первые предварительные результаты уже позволяют говорить о том, что выбранный разработчиками проекта подход себя оправдывает.

СПЕЦПРОЕКТ КОМПАНИИ SCHNEIDER ELECTRIC