За последнее десятилетие роль ЦОДов как основы ИКТ-инфраструктуры современных предприятий и организаций существенно возросла. В значительной мере это обусловлено отмечаемым аналитиками экспоненциальным ростом объемов информации и возникшей в связи с этим необходимостью в ее централизованном хранении и обработке, а также происходящим в настоящее время переходом к модели использования ИКТ в виде услуг (в том числе облачных).
Вместе с тем известно, что ЦОДы стоят дорого. Именно поэтому в настоящее время разрабатываются и внедряются технологии, позволяющие снизить капитальные и операционные расходы, связанные с построением, развитием, и эксплуатацией ЦОДов, а также расширить их функциональные возможности в соответствии с растущими требованиями к их надежности, гибкости и производительности предоставляемых сервисов.
Какие новейшие технологии имеют стратегически важное значение для построения ЦОДов сегодня и в ближайшем будущем, каковы их эффективность и уровень готовности к внедрению, с какими проблемами сталкиваются или могут столкнуться заказчики при внедрении этих технологий — эти и другие смежные вопросы мы постарались осветить в нашем тематическом обзоре.
Современные драйверы ЦОД-технологий
Мощным драйвером развития рынка ЦОДов в нашей стране, как отметил руководитель отдела серверных решений и СХД центра разработок ПК “Аквариус” Владимир Кондаков, выступает государство, реализующее свои электронные программы и национальные проекты, которые уже являются стабильным источником спроса на ЦОД-услуги, и в дальнейшем этот спрос со стороны госсектора будет только расти.
Сюда же следует отнести масштабные интернет-проекты — поисковые системы, информационные и торговые интернет-порталы, социальные сети, которые генерируют большой объем трафика и имеют много пользователей, что побуждает их владельцев размещать свои ресурсы ближе к конечному потребителю с целью удешевления стоимости передачи данных. Это, по мнению г-на Кондакова, стимулирует строительство ЦОДов в регионах.
Как отметил ведущий консультант по бизнес-приложениям компании Fujitsu в России и странах СНГ Николай Гришин, клиенты хотят получать ИКТ-услуги более высокого качества по возможности за меньшие деньги. Для владельцев и операторов ЦОДов есть два (взаимоувязанных) пути выполнения этих требований: повышение эффективности и снижение затрат при использовании вычислительных ресурсов, хранении данных, администрировании.
Выполнять эти требования, как заметил директор департамента комплексных проектов консалтинговой группы “Борлас” Николай Кузнецов, приходится в условиях ухудшения экономической ситуации и финансового положения, что ведет к ужесточению требований к ключевым экономическим показателям ЦОДов — совокупной стоимости владения (TCO) и возврату инвестиций (ROI), а это, в свою очередь, повышает интерес к услугам коммерческих ЦОДов.
Рост интереса к коммерческим ЦОДам, полагает менеджер проектов подразделения IT Business компании Schneider Electric Денис Сивцов, обостряет конкуренцию среди их владельцев, стимулирует их оптимизировать расходы и повышать эффективность своего бизнеса — в первую очередь снижать операционные затраты, которые г-н Сивцов напрямую увязывает с энергоэффективностью ЦОДов.
В повышении эффективности и снижении затрат (в том числе и на энергоресурсы) технологии играют первые роли. Например, по оценкам экспертов компании Gartner, повышение допустимой температуры рабочей среды в ЦОДе на 5˚С позволяет сэкономить до 27% затрат на его охлаждение.
Более высокая энергоэффективность современных ЦОДов вынуждает владельцев ЦОДов, сданных в эксплуатацию пять-семь лет назад (в нашей стране это в основном корпоративные ЦОДы), решать задачу повышения энергоэффективности наложенными средствами (организационными и техническими) или переносить расходы на электроэнергию (и другие ресурсы) на клиентов, тем самым проигрывая в конкуренции.
Однако риски, связанные с невыполнением регулятивных требований (compliance) к снижению загрязнения окружающей среды, подчеркнул директор по отраслевым решениям департамента по работе с корпоративными заказчиками компании Huawei Алексей Шалагинов, перенести на клиентов невозможно, поэтому владельцы ЦОДов вынуждены использовать “зеленые” технологии.
Технологический вызов в сфере строительства ЦОДов представляют, по мнению г-на Гришина, задачи хранения данных и резервного копирования в связи с экспоненциальным ростом объемов обрабатываемых данных (в первую очередь, неструктурированных, так называемых больших данных) и, как следствие, повышением требований к производительности и надёжности систем хранения данных (СХД).
Важным технологическим трендом в строительстве ЦОДов директор центра сетевых решений компании “Инфосистемы Джет” Сергей Андронов назвал (благодаря виртуализации) формировать единые вычислительные пулы, объединяющие множество виртуальных машин (ВМ), способных без прерывания работы и незаметно для пользователей мигрировать между физическими серверами. Значимой, по его мнению, стала также вытекающая из этого тренда концепция логической консолидации ЦОДов, позволяющая не разделять их на основные и резервные.
Особенно высокие показатели такая консолидация обещает для территориально разнесенных ЦОДов. После того как в нашей стране будут преодолены ограничения, накладываемые каналами связи (что, по его наблюдениям, не потребует много времени), применение виртуализации позволит создавать единые территориально распределенные ЦОДы. Максимально эффективное использование их ресурсов достигается за счет перемещения ВМ между образующими их физическими площадками. Так, если такие площадки расположены в разных часовых поясах, можно использовать разницу суточных тарифов на электроэнергию.
Мировым трендом стало укрупнение ЦОДов. В России (где в Москве, по оценкам некоторых экспертов, сосредоточено более 80% всех ЦОДов страны) это станет дополнительным стимулом строительства ЦОДов в других регионах, поскольку в Москве трудно построить мощный ЦОД из-за действующих ограничений по подключению к энергосетям и дороговизны землеотвода.
Фокус инноваций в строительстве ЦОДов
Вице-президент компании OCS Distribution Руслан Чиняков считает, что инновации относительно равномерно распределяются по всем компонентам ЦОДов, и реализуются в основном через ПО, которое становится основой любого компонента.
Инновации в компоненты инженерной инфраструктуры г-н Чиняков разделяет на две группы: компоновочные и технические. К первым он причисляет дизагрегацию серверов (формирование общего пула ресурсов) — диски, процессоры, оперативная память физически разносятся по отдельным зонам ЦОДа, что позволяет эффективно охлаждать и распределять электропитание для каждой зоны.
Из технических новинок г-н Чиняков особое внимание обращает на новые способы жидкостного охлаждения серверов (погружное, иммерсионное и адиабатическое) и фрикулинг. Рыночным сегментом, на котором сфокусированы эти инновации, как считает (в отличие от некоторых других наших экспертов) г-н Чиняков, являются корпоративные ЦОДы. Владельцы коммерческих ЦОДов, по его мнению, озабочены удешевлением стоимости стартовых затрат, особенно на инженерные системы. Он отметил, что это действительно сокращает ROI, однако может отрицательно сказаться на стоимости ЦОДа на всем его жизненном цикле (TCO).
Иное видение ситуации у Дениса Сивцова. Он считает, что при строительстве новых ЦОДов основное внимание их владельцы уделяют инженерной инфраструктуре, по его мнению, именно она определяет основные характеристики ЦОДа, а также последующие операционные затраты. Инновации в области ИКТ-инфраструктуры ЦОДов (вычислительной, сетевой, СХД) в данный момент он определяет как эволюционные: постепенное улучшение существующих технологий, нацеленное на рост производительности, уменьшение размеров и повышение плотности оборудования.
Технологические инновации в ЦОДостроительстве, считает г-н Сивцов, связаны в основном с коммерческими ЦОДами, которые сегодня оказались основными игроками на рынке ЦОД-услуг. Эти инновации направлены на повышение энергоэффективности и надежности. Что же касается корпоративных ЦОДов, то, по его оценкам, их начали строить ранее коммерческих, и их владельцам вскоре предстоит сосредоточиться на технологиях модернизации.
По мнению г-на Андронова, сегодня при строительстве и развитии ЦОДов руководствуются конкретными обстоятельствами (принцип case-by-case), а не закладывают, как ранее, изначально максимальную возможную для заказчика избыточность ресурсов. Так, если раньше преобладали мощные (по 80—100 кВт) напольные системы кондиционирования, располагавшиеся по периметру чистого зала, то сейчас используются межрядные (InRow) кондиционеры, позволяющие охлаждать конкретную группу стоек. Такой подход к построению инженерной инфраструктуры ЦОДов отвечает запросам российских провайдеров ЦОД-услуг (у которых преобладает аренда площадей). Это побудило производителей инженерной инфраструктуры перейти к модульным, хорошо масштабируемым предложениям. Г-н Андронов считает, что к модульному подходу положительно относятся владельцы как коммерческих, так и корпоративных ЦОДов.
Алексей Шалагинов обратил внимание на то, что сегодня ЦОД помимо типовых может содержать и некоторые другие специализированные программно-аппаратные подсистемы, востребованные заказчиком. Например, внутри ЦОДа может быть развернут ситуационный центр для информационно-аналитической системы “Безопасный город”. Поэтому в числе трендов в ЦОД-разработках он назвал построение конвергированных инфраструктур, которые предусматривают вертикальную интеграцию приложений и инфраструктуры ЦОДа.
Николай Кузнецов отметил успехи (пока, правда, скромные) в управлении ЦОДами, достигнутые благодаря движению в сторону отчуждения логики управления от оборудования и ее реализации на программном уровне, а также благодаря стандартизации компонентов ЦОДов и сближению функциональных характеристик предлагаемых разными вендорами продуктов, что обеспечивает заказчикам независимость от разработчиков.
Трудно не согласиться с большинством наших экспертов, настаивающих на неотделимости аппаратной части ЦОДов от программной, на их тесной взаимодополняемости. Тем не менее некоторые из них указали на такие особенности развития ЦОДов, которые четко свидетельствуют о том, что разработчики компонентов ЦОДов фокусируются именно на программном компоненте.
Сегодня на слуху такие термины, как программно-конфигурируемые ЦОДы (SDDC), сети (SDN) и СХД (SDS), которые выражают тенденции к созданию программного слоя между ИКТ-инфраструктурой и поддерживаемыми ЦОДами приложениями. Этот слой должен обеспечивать гибкое и оперативное предоставление ИКТ-ресурсов работающим поверх них приложениям и эффективное централизованное управление всей инфраструктурой ЦОДов в целях бесперебойного предоставления этих ресурсов клиентским приложениям.
Современные ЦОДы, по выражению менеджера по продукции направления “Качественное электропитание” компании Eaton в России Сергея Амелькина, должны поумнеть. Достигается это повышением уровня интеллекта, заключенного именно в ПО компонентов, блоков и узлов. Этим требованиям соответствует большинство появляющихся сегодня на рынке продуктов для ЦОДов. Наиболее передовые ИКТ-разработчики организовали и поддерживают цикл переноса устойчивых фрагментов программного интеллекта в аппаратную часть — в специализированные интегральные схемы (ASIC), добиваясь тем самым от своих продуктов рекордных для рынка эксплуатационных характеристик.
Актуальные проблемы ЦОДостроительства
Руслан Чиняков считает российский рынок ЦОДов уже сформировавшимся: игрокам рынка, по его мнению, понятны основные технологии, их достоинства и недостатки. Однако в отличие от рынков ЦОДов экономически развитых стран наш рынок отстает в востребованности сертификации и аудите существующих ЦОДов на уровне Tier III и IV. Потребность в ЦОДах такого качества, по его оценке, появилась в нашей стране только год назад. Он увязывает это с ожидаемым в России ростом спроса на услуги коммерческих ЦОДов. Подобный рост, кстати, по данным DCD Intelligence, аналитического подразделения компании DCD, имеет место во всем мире. Аналитики связывают его с усложнением корпоративной ИКТ-среды, а также, как упоминалось выше, с тем, что в трудные для экономики времена заказчики заинтересованы в уменьшении капитальных затрат.
Хотя в России доступны те же оборудование и технологии для ЦОДов, что и за рубежом, и некоторые эксперты оценивают данный сегмент рынка как сформировавшийся, в нашей стране, считает Николай Кузнецов, еще не хватает экспертизы для реализации сложных, рекордных проектов, подобных тем, которые реализуют такие компании, как Google, Facebook, Amazon.
Экспертизы не хватает не только на уникальные проекты. Российские заказчики ЦОДов, согласно наблюдениям Дениса Сивцова, продолжают экономить на проектировании, планировании и управлении строительными работами (включая услуги проектных и инжиниринговых компаний), несмотря на негативные последствия этой экономии — задержки и незапланированные траты в процессе строительства, снижение надежности и энергоэффективности сдаваемых объектов. Однако он надеется, что вскоре на нашем рынке появятся экспертные компании, которые будут в состоянии разрабатывать проекты эффективных и надежных ЦОДов, а заказчики будут готовы адекватно оплачивать их услуги.
Одной из наиболее актуальных задач, стоящих сегодня перед владельцами ЦОДов, Сергей Андронов считает задачу максимальной утилизации инженерной инфраструктуры, решить которую можно с помощью ее детального мониторинга. Для этого разработаны специальные системы — Data Center Infrastructure Management (DCIM), потребность в которых особенно возросла с переходом к практике наращивания мощностей ЦОДов по мере необходимости.
Ключевой функционал DCIM нацелен на автоматизацию инвентаризации физических ресурсов ЦОДов — оперативное выявление незанятых площадей, свободных юнитов в стойках, определение мощности электропитания и охлаждения (приходящихся на помещение в целом и на каждую стойку), количества модулей распределения питания, мощности перекрытий и фальш-полов и т. п. На основе полученной информации можно планировать размещение нового оборудования, вести статистику заполнения места в залах и стойках, энергопотребления, тепловыделения, прогнозировать темпы и направление развития ЦОД, ожидаемые потребности в электричестве и теплоотводе, моделировать инфраструктурные потребности ЦОДа при различных вариантах его заполнения.
Сегодня разработчики ищут решение задачи стыковки управления и инженерной и вычислительной частей инфраструктуры ЦОДа, основная сложность которой заключается в том, что динамика изменения физической и виртуальной сред сильно различается. Инженерная инфраструктура, контролируемая с помощью DCIM, относительно стабильна и допускает управление в полуручном режиме. Иное дело ИТ-среда ЦОДа, тем более виртуализованная, тем более построенная по облачной архитектуре.
Как заявил Сергей Андронов, ни одна из представленных в настоящее время на рынке систем DCIM не позволяет обеспечить скорость управления изменениями, характерными для ВМ. Некоторые ИТ-вендоры пытаются решить задачу выделения для ВМ не только необходимой вычислительной мощности, но и ресурса электропитания и охлаждения, т. е. управлять инженерным и ИТ-оборудованием как единым пулом ресурсов. Для этого базу данных виртуальных и физических ресурсов ЦОДа надо вести в одной системе. Но пока таких решений нет, хотя уже года через два-три потребность в них будет очень актуальна.
Перспективы ЦОД-технологий
С одной стороны, отметил Руслан Чиняков, на рынке имеется полный спектр продуктов, необходимых для создания продвинутых ЦОДов, но с другой — каждый из них реализует только часть полного функционала ЦОДа. Комплексные же решения, согласно его наблюдениям, пока единичны, их предлагают партнерские союзы разработчиков-лидеров. Однако подобные решения в основном закрыты архитектурно и не допускают использования компонентов других производителей.
Алексей Шалагинов вообще считает, что время “продуктовых предложений” для ЦОДов проходит. Интегрировать ЦОД из компонентов, по его мнению, сложно, долго и неэффективно даже при участии системных интеграторов — слишком велики риски нестыковок интерфейсов, несовместимости протоколов, появления других узких мест. Экономия на капитальных затратах при строительстве ЦОДа из набора “продуктовых предложений” неизбежно, подчеркнул он, “съедается” необходимостью устранения нестыковок и доработок. Поэтому сегодня компании предпочитают либо отдавать свои ИТ-системы на аутсорсинг облачным провайдерам, либо приобретать готовые законченные решения для корпоративного ЦОДа.
К одному из важных направлений развития российского и мирового рынков ЦОДов Руслан Чиняков относит мобильные ЦОДы. Считается, что мобильные ЦОДы позволяют экономить на капитальных затратах (поскольку не требуют подготовки помещений и стоят в два-три раза меньше, чем стационарные аналоги), они легче масштабируются, быстро развертываются, при необходимости их можно переместить в другое место и даже продать .
Вместе с тем контейнерные (мобильные) ЦОДы не являются конкурентами стационарным: такое решение эффективно, когда у заказчика есть необходимость обеспечить надежную инфраструктуру на удаленных территориях, в ограниченных пространствах внутри офисного здания или оперативно развернуть ИКТ-инфраструктуру (например, в полевых условиях).
Родственными модульным ЦОДам являются “ЦОДы в коробке”. Как пояснил руководитель группы технических экспертов IBM PureSystems в России и СНГ Кирилл Терешенко, “ЦОД в коробке” представляет собой стандартизованное решение с современными серверами, высокопроизводительным сетевым оборудованием, интегрированной в шасси СХД, позволяющей виртуализовать все СХД заказчика и управлять ими как единым пулом хранения информации. Такой ЦОД предоставляет владельцу сотни готовых шаблонов для быстрого развёртывания приложений (с возможностью разработки своих собственных), ПО для создания гетерогенной облачной среды, централизованную консоль управления всей инфраструктурой, упрощающую установку средств виртуализации, развёртывание операционных систем и приложений, управление сетями, СХД и облачными средами. Кроме того, он умеет автоматически обнаруживать назревающие аппаратные проблемы.
Как считает Денис Сивцов, были и останутся актуальными технологии, позволяющие повышать энергоэффективность инженерной инфраструктуры. Так, сегодня востребованы технологии, увеличивающие эффективность классических системы охлаждения ЦОДа — использование высокоэффективных систем периметрального охлаждения на прецизионных кондиционерах и высокоэффективных чиллеров. Интересны для заказчиков системы кондиционирования, построенные на модульных экономайзерах косвенного испарительного охлаждения воздуха, позволяющие (в определенных условиях) значительно повысить эффективность системы охлаждения ЦОДа. В будущем достаточно перспективным, по мнению г-на Сивцова, станет построение систем кондиционирования на базе технологии жидкостного охлаждения ИТ-оборудования.
По мнению Николая Кузнецова актуализируются задачи обеспечения безопасности ЦОДов, как физической, так и информационной. Он предполагает, что в ЦОДах найдут применение продвинутые методы шифрования, несмотря на то что это потребует увеличения производительности ЦОДов.
Алексей Шалагинов отметил тенденцию к переходу на твердотельные накопители в СХД. Они не уступают по емкости и надежности дисковым, значительно превосходя их по скорости ввода-вывода (IOPS) и могут повысить показатель IOPS до 20 крат. Однако они еще достаточно дороги (хотя цены на них быстро падают). Все большую актуальность, согласно его наблюдениям, приобретают СХД для больших данных, к которым предъявляются высокие требования: производительность до 5 млн. IOPS при емкости до 100 Пб и полосе пропускания системы коммутации до 170 Гбит/с.
Учитывая нынешнее концептуальное разнообразие в подходах к строительству ЦОДов, Руслан Чиняков склонен оценивать рынок ЦОДов далеким от зрелости. По его мнению рынок находится на новом витке спирали развития. Появляются новички, которые теснят вчерашних лидеров. Предлагаются новые наборы “открытых” интерфейсов, сталкиваются кардинально противоположные стратегии развития ЦОДов.
