Нагрузка на эксплуатационные и административные службы современных ЦОДов непрерывно растёт вслед за увеличением спроса на их услуги. По оценке «ТМТ Консалтинг», в 2017 г. объём российского рынка центров обработки данных составил 23,6 млрд. руб. — на 10,6% больше показателя
Темпы физического увеличения ёмкости во многих случаях оказываются даже чересчур высокими, так как инфраструктура дата-центров не всегда поспевает за приростом их вычислительной мощи. В коллокационных ЦОДах прибавляется клиентского оборудования, облачные же сталкиваются с нехваткой серверных мощностей и вынуждены заменять свои серверы на более производительные, порой пренебрегая сопутствующей модернизацией инженерных коммуникаций.
Неоптимальное распределение нагрузки по имеющемуся силовому оборудованию в условиях интенсивной работы чревато выходом его из строя и нарушением контрактных обязательств ЦОДа. Вдобавок без налаженного автоматического мониторинга инфраструктуры невозможно своевременно и чётко реагировать на малейшие сбои в работе инженерных коммуникаций, что, в свою очередь, грозит ещё более ощутимыми материальными потерями. Что же предлагают для противодействия всем этим угрозам поставщики силового оборудования?
Всё идёт по плану
Представляется совершенно естественным, что устроители любого мало-мальски крупного дата-центра со всей ответственностью будут подходить к планированию инженерной инфраструктуры для него, уделяя особое внимание системам энергоснабжения и теплоотведения. Как свидетельствует Николай Майорский, начальник отдела электроснабжения департамента инженерных систем компании «АйТеко», опытный клиент привлекает специалистов и вендоров уже на начальном этапе проработки концепции ЦОДа.
В результате совместной работы и определяется наиболее оптимальный для клиента вариант построения надежной схемы электроснабжения. При этом нередко доходит до крайностей, когда клиенты в одном случае перестраховываются и закладывают избыточные и ненужные требования, а в другом, наоборот, с целью экономии минимизируют затраты на систему электроснабжения в ущерб надёжности.
Основная проблема, которую видит на этапе планирования ЦОДа главный инженер компании «КРОК» Пётр Вашкевич — определение среднего энергопотребления по размещаемым стойкам. Ошибки в обе стороны чреваты неокупаемыми затратами либо на простаивающие мощности систем электро- и холодоснабжения, либо на недозаполненные площади машинных залов (последнее обходится гораздо дешевле). Планирование ЦОДа как проекта должно быть долгосрочным, на перспективу 10‒15 лет, причём на этом интервале необходимо предусмотреть трёх-пятиразовую полную замену серверного оборудования.
«За последние годы популярность приобрел поэтапный подход к строительству дата-центров, который позволяет вводить мощности в строй по мере появления заказчиков, сокращая тем самым расходы уже на начальной стадии», — замечает Дмитрий Гуляев, руководитель направления инфраструктуры ЦОДа Delta Electronics. Всё больше заказчиков склонны придерживаться рекомендаций Uptime Institute относительно климатических параметров в машинных залах, что ведёт к серьёзным изменениям систем теплоотвода: они становятся более комплексными и гибкими.
Хотя коммерческие ЦОДы уже на этапе проектирования ориентируются на требования Uptime Institute Tier 2 или 3, но будут ли они в дальнейшем подтверждать свой статус сертификатами, в каждом конкретном случае решается индивидуально. Юрий Гошуков, директор департамента инженерных систем и автоматизации OCS Distribution, подчёркивает, что с точки зрения энергобезопасности современные российские коммерческие ЦОДы, даже не располагающие такими сертификатами, весьма надёжны. Они строятся по самым передовым стандартам энергоснабжения, включающим, например, второй канал подачи электропитания от дополнительной подстанции и обязательных систем резервного питания на базе дизель-генераторов (ДГУ).
«Часто при создании ЦОДа принимают схему с резервированием 2N и полностью дублируют линии электропитания, — соглашается Алексей Соловьёв, технический директор подразделения IT Division компании Schneider Electric. — Это позволяет проводить регламентные и восстановительные работы в системе электропитания без остановки основного оборудования ЦОДа».
Снаружи всех измерений
Хотя, конечно, ЦОД на ЦОД не приходится, и стремление лидеров этого рынка строить свои дата-центры в соответствии с самыми передовыми стандартами разделяют не все игроки. Директор по развитию «Связь инжиниринг» Станислав Коларж обращает внимание на то, что грамотность построения ЦОДа зависит от многих параметров: условий финансирования, правильного подхода к управлению проектом, продуманной последовательности ввода мощностей и многих других факторов.
Максим ЧижовSchneider Electric и перспективы развития коммерческих ЦОДов Отечественный бизнес централизованного хранения и обработки данных растёт чрезвычайно быстрыми темпами. По оценке «ТМТ Консалтинг», в прошлом году объём российского рынка ЦОДов достиг 23,6 млрд. руб., что на 10,6% больше показателя
2016-го. К исходу года нынешнего, как предполагают аналитики, в денежном исчислении темпы прироста этого рынка окажутся ещё более впечатляющими — на уровне 13%.Увеличение спроса на централизованные площадки для размещения серверной инфраструктуры влечёт за собой и рост продаж всего сопутствующего оборудования: систем энергообеспечения, кондиционирования, контроля и управления. Заказчики — владельцы ЦОДов — зачастую сталкиваются при этом с вызовами, о которых не задумывались прежде. О том, что это за вызовы и каким образом с ними разумнее всего справляться, мы беседуем с Максимом Чижовым, руководителем направления по работе с заказчиками сегмента коммерческих ЦОДов подразделения IT Division компании Schneider Electric.
Почему именно коммерческие ЦОДы сейчас так востребованы?
Наша компания давно осознала, что коммерческие ЦОДы — это вполне самостоятельное направление развития центров обработки данных. Тому есть несколько причин, и первая — сокращение CAPEX-бюджетов у заказчиков, что заметно усложняет строительство собственных центров обработки данных. И это при том, что развивать ИТ-инфраструктуру сегодня жизненно важно для любого бизнеса. Этим обусловлена целесообразность размещения оборудования в коммерческих ЦОДах, ведь бюджет, необходимый для проектирования, возведения и эксплуатации собственного дата-центра, сопоставим с затратами на пользование услугами коммерческого ЦОДа на протяжении десятилетия и даже больше.
Анатолий Маслов, технический эксперт Tripp Lite, конкретизирует: «Даже в сертифицированных ЦОДах происходят сбои. А например, в простом ЦОДе без сертификации с минимальной степенью резервирования сбоев может не быть, поскольку там работают грамотные и обученные специалисты». В целом имеет смысл взвешенно подходить к вопросу организации инженерной инфраструктуры ЦОДа: не гнаться за максимальным количеством «девяток» отказоустойчивости, но пристальнее следить за передовыми тенденциями в индустрии, обновлением знаний эксплуатирующих ЦОД инженеров. И разумеется, не забывать о периодическом обслуживании всех систем.
Как же вести себя потенциальным клиентам ЦОДа, у которых отсутствует сертификат Uptime Institute? Сергей Ращихин, главный инженер проекта Центра компетенций по инженерной инфраструктуре компании «Техносерв», рекомендует запрашивать всю наличную документацию на ЦОД, включая его инженерную инфраструктуру, и оценивать решения на предмет надёжности.
Однако, не располагая специальными знаниями, опытом построения, реализации и эксплуатации ЦОДа, потенциальному клиенту сложно будет ориентироваться на какие-либо показатели. Как рассказал Николай Майорский, если для заказчика дорого сертифицировать ЦОД в Uptime Institute, он может обратиться за независимым аудитом, например, к интегратору. Сертификат он, разумеется, не получит, но, как показывает практика, может выявить в ходе аудита слабые звенья и тем самым повысить надёжность.
Вопрос о цене имеет смысл разделять на две части. Первая — стоимость самой сертификации, которая для современных коммерческих объектов размером в несколько сотен, а то и тысяч стойко-мест составляет около
«В теории разница в стоимости строительства может достигать 20‒25%, — отмечает Пётр Вашкевич. — Однако, исходя из собственного опыта, могу сказать, что строительство сертифицированного ЦОДа на практике часто обходится в такую же цену, как и несертифицированного. Это происходит за счет того, что разница в большей степени зависит от базовых параметров и качества проектирования. Ведь при недостатке опыта легко ошибиться на те же 20% в таком базовом параметре, как, например, расчётная мощность на стойку. С соответствующим ценовым эффектом».
Таким образом, главным препятствием на пути к сертификации становится не сам по себе финансовый вопрос, а изначальное осознание заводчиком ЦОДа невозможности получить такой сертификат в принципе. Скажем, сертификация выдвигает опредёленные требования к компоновке объекта, которые далеко не всегда можно соблюсти в уже готовых зданиях.
В России до сих пор нет единого стандарта, который бы определял требования к ЦОДам, обращает внимание Дмитрий Гуляев. Поэтому приходится использовать зарубежный опыт и модели расчетов, например принятый в США стандарт TIA-942. Кроме того, заводчики дата-центров используют ГОСТ 34 (имеются в виду ГОСТ
Разработка единого стандарта для ЦОДов возможна и необходима, убеждён Николай Майорский. В 2013 г. инициативной группой была создана Ассоциация участников отрасли ЦОД и подготовлен проект отраслевого стандарта; работа ведётся и сейчас, но это небыстрый процесс. Необходимо, чтобы в разработке стандарта участвовали все заинтересованные стороны и чтобы требования, прописанные в нем, были выполнимы и не избыточны, удовлетворяли всем требованиям безопасности и учитывали уже имеющийся опыт построения и эксплуатации ЦОДов.
А вот Юрий Гошуков не уверен, что российский стандарт нужен, поскольку все основные принципы построения дата-центров уже давно сформулированы: «Обычно уже на этапе конкурса заказчики сами устанавливают требования к коммерческим ЦОДам. В подобном списке может быть и условие наличия сертификации Uptime Institute. Это решение заказчика». Станислав Коларж рекомендует потенциальному пользователю ЦОДа лично посмотреть на работу службы его эксплуатации, поскольку даже идеально построенный и сертифицированный механизм при недолжном использовании непременно будет давать сбои.
Алексей Соловьёв опасается, что стандартизация применяемых решений может даже навредить отрасли. Ведь она увеличит риски невозможности применения передовых технологий, если поспособствует закреплению технологических решений и принципов в рамках единого стандарта: «Например, если ещё пять-семь лет назад лидеры в области строительства и эксплуатации ЦОДов делали упор на централизованный дата-центр и обеспечение его безупречной надежности, то сейчас нередко применяется подход, когда ЦОД внутри себя имеет базовое резервирование, однако осуществляется дублирование или распределение функций между сетью ЦОДов».
Сертификация в любом случае не панацея, полагает Анатолий Маслов. Во-первых, она может быть частичной (сам проект сертифицирован, а инсталляция оборудования и работа — нет); во-вторых, никогда не следует сбрасывать со счетов человеческий фактор. Известно немало примеров того, как некомпетентные люди обходили множественные степени защиты, обесточивая сертифицированные по всем правилам ЦОДы.
Кто ищет смысл
Общий расход энергии ЦОДом в немалой степени зависит от качества организации инженерной инфраструктуры. Создавать эту инфраструктуру помогают поставщики соответствующего оборудования, предлагая заказчикам не только само «железо», но и свои компетенции в области энергообеспечения и теплоотвода. Однако сотрудничают они, по словам Петра Вашкевича, не только и не столько с самими ЦОДами, сколько с проектировщиками и интеграторами: «Сейчас из-за экономического кризиса многие вендоры сокращают штат инженеров поддержки. И уже заметна проблема, когда, например, вместо пяти человек остается один, и он физически не успевает вникать и вдумчиво отвечать на все поступающие вопросы».
Основной тренд, на который обращает внимание Юрий Гошуков, — отсутствие у заказчиков опыта по переводу своих пожеланий в полноценное оптимизированное ТЗ. Здесь проектный дистрибьютор в полной мере получает возможность поддержать заказчика своими компетенциями, подсказать, что важно, а на чём можно сэкономить.
Компании-производителю оборудования нужен довольный заказчик, задачи которого будут решены не только сейчас, но и в отдалённой перспективе, уверен Алексей Соловьёв. При этом важно, чтобы заказчик не только создавал площадки, используя решения данного вендора, но и чтобы последний долгие годы оставался его доверенным советником. Именно из этих соображений вендоры предлагают консалтинговые услуги и другие сервисы по построению систем инженерной инфраструктуры на каждом этапе жизненного цикла проекта.
Станислав Коларж также подчёркивает, что прямая задача вендора — максимально плотно контактировать с проектировщиками и разработчиками стандартных конфигураций для ЦОДов, ведь именно на этапе проектирования закладывается оптимальная структура энергопотребления и минимизируется показатель PUE. Анатолий Маслов добавляет: «Мы всё чаще видим, что крупные заказчики привлекают в свой штат высококлассных специалистов, которые сами могут оценить и выбрать решение, исключив из цепочки проекта интегратора».
В качестве примера задачи по оптимизации инфраструктуры можно привести ЦОДы, рассчитанные на коллокационную загрузку. Они нередко сталкиваются с проблемой вынужденной неоптимальности защиты по электропитанию. Ведь если сразу снабжать их ИБП и охлаждающим оборудованием исходя из максимально допустимой нагрузки, то вплоть до полной загрузки стоек клиентскими серверами эта защита будет оставаться избыточной.
Николай Майорский считает: «Необходимо, чтобы клиент на начальном этапе понимал и правильно оценивал развитие и загрузку своего ЦОДа, что позволит исключить применение неоптимальных решений на всех этапах построения и эксплуатации ЦОДа. Данная проблема решается применением комплексной системы мониторинга с соответствующим программным обеспечением, которая позволяет не только отслеживать текущую ситуацию, но и планировать размещение оборудования в ЦОДе с учетом реальной загрузки серверных стоек».
Сергей Ращихин видит решение в поэтапном наращивании мощности, для чего используют модульные, масштабируемые решения. Это позволяет снизить капитальные затраты на первом этапе строительства ЦОДа. «Следует принимать во внимание, — добавляет он, — что при долгосрочной эксплуатации ЦОДа, на протяжении семи и более лет, стоимость услуг использования арендных площадок окажется выше, чем построение собственного ЦОДа, а переход в облачную инфраструктуру не всегда возможен ввиду ряда особенностей площадки».
Помимо современных модульных ИБП существуют и варианты с распределёнными, приближенными к нагрузке однофазными отказоустойчивыми ИБП с комплектными сервисными байпасами, напоминает Анатолий Маслов. А Станислав Коларж подчёркивает, что практически всегда наиболее экономичным оказывается создание системы распределения электроэнергии на полную мощность на начальном этапе.
Алексей Соловьёв согласен с тем, что проблема малой нагрузки на инженерные системы (актуальная не только для коммерческих, но и для корпоративных ЦОДов) решается достаточно просто: уже на этапе создания инженерных систем предусматривается модульная топология инженерных систем ЦОДа, и по мере внедрения ИТ-модулей устанавливается требуемое количество инженерных модулей. При этом модульность может быть как внутренняя (например, силовые модули в ИБП), так и внешняя. Под термином «модуль» здесь имеется в виду заранее определённая и повторяющаяся конфигурация. Например, для группы ИТ-шкафов или машинного зала устанавливается пара ИБП и необходимое число кондиционеров.
Самой распространенной точкой отказа в ИБП является силовая часть, об этом призывает не забывать Дмитрий Гуляев. Поэтому современные системы бесперебойного электропитания высокой надежности строятся по модульному принципу с резервированием N+x, где х — число резервных модулей. В одной стойке ИБП объединяется несколько силовых модулей, имеющих общую батарейную шину. Мощность системы бесперебойного электропитания можно всегда поддерживать на требуемом уровне, добавляя или отключая силовые модули. Такой подход позволяет избежать перерасхода электроэнергии.
«Нужно понимать, что любые современные элементы коммерческого ЦОДа сильно отличаются от серверных систем, — подчёркивает Пётр Вашкевич. — Если сервер можно установить в стойку и ввести в вычислительный кластер в течение нескольких часов, причем совершенно без влияния на уже запущенные системы, то с инженерными системами это не так. При добавлении тех или иных элементов требуются комплексные пусконаладочные работы, которые порой могут потребовать и отключения всего модуля, что на работающем ЦОДе недопустимо. Поэтому эффективность дата-центра обычно достигается в большей степени правильным соотнесением скорости заполнения и модульности объекта, а не простым добавлением отдельных элементов инженерных систем в уже запущенном модуле. Исходя из нашего опыта, для крупных ЦОДов оптимальным является масштабирование с шагом порядка 1 МВт. Для дата-центров малой мощности оптимально применять модульные решения с шагом в несколько десятков киловатт».
Чужеродным элементом
Ключевой компонент инженерной инфраструктуры современного ЦОДа — мощные трёхфазные ИБП с двойным преобразованием. Но для подлинно гарантированного электроснабжения не обойтись без применения ДГУ. Заказчик уже на этапе планирования выбора площадки (здания) для размещения ЦОДа должен учитывать необходимость и возможность размещения автономной генераторной электростанции, убеждён Николай Майорский. Увы, в большинстве случаев при размещении дата-центров в уже существующих зданиях невозможно создать полноценную автономную систему, которая удовлетворяла бы всем требованиям надёжности гарантированного электроснабжения.
«В нашей практике, — говорит Анатолий Маслов, — были проекты с размещением ДГУ на крышах зданий и в адаптированных подвалах. Решения бывают крайне сложными и требуют особых компетенций у строителя». Часто в таких проектах ДГУ дробятся на мелкие сегменты, работающие параллельно. На них устанавливают минимальные по объёму топливные баки, но при этом заключают контракты с регламентированным временем подвоза топлива. Активно используются ДГУ на автомобильном шасси. В этом случае отпадает необходимость во многих согласованиях, а для шасси нужен только ПТС и место на парковке возле здания с ЦОДом.
Использование ДГУ повышает степень защищенности ЦОДа, и серьёзный заказчик несомненно выберет высококлассный хостинг, подчёркивает эксперт OCS: «Всё всегда индивидуально. Если, например, в центре Москвы и других крупных федеральных городахв согласовать ДГУ нереально, то ищутся варианты. Часто это временные цепи подключения, когда ДГУ стоит на колесной тележке рядом с ЦОДом в любом месте. Также всегда необходимо помнить, что срок жизни стандартных батарей у ИБП 5‒7 лет. Реже встречаются
Корпоративные ЦОДы, размещаемые в обычных зданиях, практически никогда не удаётся довести до уровня надежности, описанного в стандарте, сетует Пётр Вашкевич. В коммерческих же ЦОДах вообще происходит переключение с пары ИБП ‒ ДГУ на динамические ИБП на базе дизеля (ДДИБП). Это позволяет сэкономить и при строительстве, и на площади помещений, и на стоимости эксплуатации. В любом случае в надёжном ЦОДе должны быть резервные генераторы в виде ДДИБП или ДГУ. Если нет физической возможности их размещения, дата-центр автоматически переходит в разряд ненадёжных.
Дмитрий Гуляев указывает на ряд требований к помещениям с генераторными установками: поддержание температуры не ниже 5°С, обеспечение пожарной безопасности, хорошая система вентиляции и шумоизоляции. Ежемесячный запуск ДГУ с выжиганием полного объёма бака позволяет провести полноценное тестирование генератора и автомата ввода резерва (АВР) и израсходовать проблемное топливо. По словам Сергея Ращихина, эксплуатации ДГУ необходимо уделять внимание не меньше, чем другим элементам инфраструктуры ЦОДа: проводить осмотры, регламентные и сервисные работы.
Следует заранее правильно планировать место для ЦОДа с учётом всех нюансов эксплуатации, подчёркивает Алексей Соловьёв. В противном случае любое из решений, будь то частичная компенсация ДГУ большим количеством батарей на ИБП или использование ДГУ здания, неподведомственного обслуживающему персоналу дата-центра, будет лишь вынужденным выбором, но не полноценным решением проблемы.
Продолжая продолжать
Для обеспечения надежной и безотказной работы любых сложных систем важен разумно организованный мониторинг, и системы электропитания здесь не исключение. «Чем крупнее ЦОД, тем важнее роль систем мониторинга», — уверен Анатолий Маслов. Подсистема автоматизации и диспетчеризации системы гарантированного энергоснабжения (СГЭ) для ЦОДа позволяет отслеживать, в каких режимах работает энергоустановка, фиксировать ошибки работы, производить учет ресурсов, менять при необходимости заданные алгоритмы дистанционно, осуществлять ротацию при работе параллельных систем, указывает Сергей Ращихин.
«Неожиданные неисправности достаточно редки, предпосылкой к отказу практически всегда служит постепенно развивающееся состояние, которое необходимо и важно отследить на начальном этапе», — подчёркивает Станислав Коларж. При существующем уровне развития коммуникаций для организации мониторинга требуются минимальные ресурсы, при этом возможна практически лишённая человеческого участия служба эксплуатации.
Алексей Соловьёв обращает внимание на то, что энергоснабжение — наиболее критичный и уязвимый ресурс для ЦОДа. Мониторинг отказоустойчивого объекта должен быть организован таким образом, чтобы инженерная служба могла действовать проактивно, предваряя потенциальные аварии. При этом затраты на построение системы мониторинга, даже если принимать в расчёт элементы учета ресурсов, управления обслуживанием и т. п., редко составляют более 1% от стоимости ЦОДа. Полнее всего системы мониторинга проявляют себя, когда контролируют показания параметров и историю событий при расследовании наиболее фатальных ошибок, вызванных человеческим фактором. Мониторинг, своевременно снабжающий персонал достаточными данными для принятия решений, — это рутина, позволяющая избегать ярких вспышек и «интереснейших» блэкаутов.
Нужно, впрочем, понимать, что автоматика не всесильна, предостерегает Пётр Вашкевич. Она эффективна лишь в строго определённых рамках. ЦОД же функционирует как растущий живой организм, в нём постоянно что-то меняется. Поэтому без чёткого понимания службой эксплуатации каждого внутреннего процесса невозможно достигнуть высокой эффективности. Вот почему мониторинг служит только инструментом в руках специалиста, который может на основании анализа полученных данных найти лучшее решение по оптимизации в каждом конкретном случае.
Николай Майорский напоминает об особой важности мониторинга всех систем электроснабжения (ДГУ, ИБП, распределительная сеть, системы холодоснабжения и т. д.) для клиентов, у которых имеется несколько расположенных в одном регионе ЦОДов. В этом случае дистанционный мониторинг и управление инженерными системами, построенный на платформе SCADA, позволит экономить средства, прежде всего за счёт сокращения численности обслуживающего персонала и своевременного реагирования на нештатные ситуации.
Не следует забывать о том, что каждый дата-центр строится под определённые цели и задачи, что и обусловливает его специфику. Где-то уместно и выгодно размещать небольшие ЦОДы в существующих (даже исторических) зданиях в центре города, где-то логично возводить крупный автономный комплекс, рассчитанный на десятки мегаватт потребляемой мощности в городской черте или специально выделенной загородной зоне. Разнообразие предложений инженерного оборудования для всего возможного спектра решений огромно.
В каждом конкретном случае эксперты вендоров и интеграторов готовы предложить заказчику оптимальный проект энерго- и холодоснабжения его ЦОДа. Это могут быть ИБП с увеличенным временем автономной работы и с применением литиево-ионных аккумуляторных батарей, дизель-генераторные и газопоршневые электростанции. При больших мощностях эффективно использовать динамические источники бесперебойного питания. Главное, чтобы заказчик сам чётко определял свои цели и в соответствии с ними формулировал реализуемые в пределах доступного бюджета задачи.
