Культивация центра обработки данных

В эпоху бурного роста энергопотребления и цен на первый план выходит эффективность работы

Менеджеры центров обработки данных (ЦОД) чувствуют себя сегодня как на раскаленной сковородке. Мало того что им приходится втискивать в ограниченное пространство такое количество серверов, какое раньше и не снилось (даже постоянно умеряя при этом свой аппетит), так нужно еще и следить, чтобы счет за электричество не взлетел до небес. А вот как совместить то, что кажется несовместимым, они пока однозначно сказать не могут...

Раньше единственной заботой менеджера ИТ была вычислительная мощь, а то, насколько эффективно она используется, отходило на второй план. "Цена оставалась важным фактором всегда и везде, но в центрах обработки данных думали не столько о расходах, сколько о бесперебойной работе", - отмечает Рик Оливер, старший инженер ЦОД онлайнового университета из города Феникс. Поэтому, когда заходила речь о создании нового центра, на нем старались не экономить - запас, мол, карман не тянет. В здание встраивалось как можно больше кондиционеров и других средств поддержания рабочей обстановки, а количество резервных линий энергоснабжения определялось с расчетом на самые невероятные стечения обстоятельств.

"Теперь приходится мыслить перспективно - о системах, которые понадобятся в ближайшие три-пять лет, о том, как их охлаждать и как отапливать помещение, - говорит Сет Митчелл, менеджер инфраструктурной команды мебельной торговой сети Slumberland (Литл-Канада, шт. Миннесота). - Без экстраполяции здесь не обойтись, потому что трудно менять уже построенную структуру ЦОД". Впрочем, особого выбора у Митчелла и его коллег нет. Непрерывно растущие цены на электроэнергию, подскакивающие к тому же при каждом новом конфликте на Ближнем Востоке и при каждой новой проблеме с нефтепроводами на Аляске, заставляют и потребителей, и производителей смотреть на вычислительные центры по-новому. Совсем недавно, 16 августа, инженеры Лоуренсовской национальной лаборатории из Беркли вместе с двумя десятками представителей производящих компаний провели демонстрацию преимуществ использования питания от сети постоянного тока. Способы перестройки всей архитектуры ЦОД активно ищет Hewlett-Packard, а множество поставщиков - от Advanced Micro Devices до Sun Microsystems - всячески стремятся снизить расходы на электропотребление.

"По счетам платят вовсе не те, кто составляет спецификации и строит центры обработки данных, - отмечает Нейл Расмуссен, главный инженер и основатель фирмы American Power Conversion (Уэст-Кингстон, шт. Род-Айленд). - Мало кто из них даже задумывается о том, во что это выливается и кто покрывает такие расходы".

В результате менеджеру вычислительного центра одного сертификата на администрирование ИТ становится мало - ему приходится по совместительству выполнять обязанности специалиста ОВКВ (отопление, вентиляция и кондиционирование воздуха). Приступая к построению современного вычислительного центра, ему лучше напрочь забыть об архитектурных решениях прошлого, которым его учили на протяжении многих лет.

Любой вычислительный центр, особенно оснащенный множеством компактных серверов в стойках, становится, по словам Оливера, "пожирателем электричества и мощной печкой - одно без другого просто невозможно".

На смену автономным серверам, каждый из которых занимал целый корпус, сегодня приходят 3,5-дюймовые модули формата 2U, вдвое меньшие машины формата 1U размером с коробку для пиццы, а то и лезвия. А чем меньше размер отдельного сервера, тем острее становится проблема электроснабжения вычислительного центра и отвода тепла из него.

"Горячее и прожорливее становится вся отрасль. Если пять лет назад средний процессор потреблял около 30 Вт, то сейчас - уже 135 Вт, - напоминает Оливер. - К тому же в стойку раньше вмещалось максимум шесть процессоров, а сегодня их может быть уже 42".

А ведь к каждому киловатту, поданному на процессор, нужно добавить еще киловатт-полтора на охлаждение и поддержку - такие цифры приводит Йон Куми, научный сотрудник Лоуренсовской национальной лаборатории из калифорнийского города Беркли, занимающий по совместительству должность профессора-консультанта Стэнфордского университета. И к его словам стоит прислушаться, поскольку стоимость и эффективность ЦОД - основная специализация Куми.

Эффективность во многом зависит от пути прохождения энергии. "Сначала по кабелю питания вы подаете переменный ток от стенной розетки на ИБП, где он выпрямляется, проходит через аккумулятор и снова преобразуется в переменный, который подается на сервер, а там снова становится постоянным и в таком уже виде его получает микросхема, - поясняет Куми. - А попутно теряется ужасно много энергии". Но этим, по его словам, дело не ограничивается. Даже в идеальных условиях в большинстве ЦОД приходится размещать гораздо больше шасси, чем необходимо для нормальной работы. Все объясняется просто: в стойках преднамеренно оставляют пустые ячейки, чтобы обеспечить адекватный отвод тепла.

"Если вы установите у себя шасси с высокой плотностью устройств, будь то лезвия или что-то другое, и заполните их до отказа, - перегрева не избежать", - уверен Куми.

Эксперты неэффективности

Об энергетической эффективности ЦОД пока, увы, нечего и говорить. Недавнее исследование, проведенное специалистами Uptime Institute, показало, что в 90% таких корпоративных центров намного больше средств охлаждения, чем это необходимо на самом деле. В проверенных исследователями структурах системы охлаждения оказались в среднем в 2,6 раз производительнее того, что требовалось, но при этом 10% рабочих площадей были чрезмерно перегреты. А в одном из центров, по данным The Uptime Institute, "горячей" оказалась даже четверть всего внутреннего пространства, хотя суммарная мощность систем охлаждения в 10 раз превосходила ту, которую давали расчеты для такой площади и комплектации оборудования.

Для своего центра обработки данных фирма Slumberland выбрала оптимальную

 схему охлаждения. Из кондиционера воздух продувается через перфорированные

 напольные плитки А, откуда поступает в серверные стойки В.

 Нагревшийся в стойках воздух принудительно отводится из вычислительного

 центра через расположенные на потолке вентиляционные отверстия С

Серверные шасси особо эффективными с точки зрения теплоотдачи назвать трудно. Во многих случаях, как отмечено в исследовании, основу их конструкции составляют стойки наподобие хлебных лотков или промышленные полки, с трудом пропускающие через себя воздух от плоских вентиляторов. Какие бы меры здесь ни принимались, температура внутри шасси зачастую достигает 40С, что значительно сокращает срок службы оборудования и снижает надежность его работы. Судя по данным исследователей, каждое превышение температуры на 8С сверх стандартных 21С приводит к уменьшению надежности на 50%.

Но главной причиной перегрева остается все же недостаточное управление искусственным микроклиматом. Как отмечается все в том же докладе, 72% всего охлаждающего вычислительный центр воздуха вообще не доходит до оборудования. Больше половины улетучивается через щели в кабелепроводах и каналах, еще 14% расходуется впустую из-за неверной ориентации створок, призванных направлять воздух в нужном направлении. Отмечены даже случаи, когда поток от них вообще уходил за пределы ЦОД - под фальшпол, в подпол либо между перекрытием и подвесным потолком. Бывает и так, что охлажденный воздух направляется прямо через вентиляционные щели на термостат кондиционера, в результате чего автоматика считает, что в помещении гораздо холоднее, чем на самом деле, и снижает уровень охлаждения.

"Примечательно, что все эти ЦОДы обслуживают приложения, работающие в круглосуточном режиме, - отмечает Куми. - Настройка подобных систем скорее сродни искусству, чем науке, поэтому ошибки здесь более чем вероятны. К тому же зачастую никуда не годится уровень взаимодействия между сотрудниками ИТ и службой эксплуатации. Бывает так, что менеджер заказывает партию новых серверов, но их доставка в пятницу становится настоящим сюрпризом для эксплуатационщиков, и те только бессильно разводят руками",

Что уж тут говорить о планировании размещения оборудования! Здесь, по мнению Расмуссена из APC, порой все происходит до смешного примитивно, а то и вообще доходит до абсурда: "Когда нужно установить новое шасси с лезвиями, инженер выбирает самое прохладное место".

Чтобы избавиться от проблем с охлаждением, проще всего устранить совершенно очевидные причины. При подготовке своего доклада специалисты Uptime Institute выяснили, что в проверенных вычислительных центрах порядка 10% охлаждающего оборудования попросту не работало, но об этом никто даже не подозревал, поскольку оно не было подключено к системе автоматического оповещения, а ручная проверка не проводилась.

Типичной ошибкой является также слишком сильная струя под полом помещения, в силу чего охлаждающий воздух выходит наружу в 10-12 м от "горячих" точек, где необходим больше всего.

Из других ошибок можно назвать непродуманную конфигурацию воздушных потоков, которые спонтанно проходят между всеми серверными стойками. При этом холодный воздух попадает только в стойки первого островка, а в последующие поступает уже основательно прогретым. В результате нижняя часть шасси оказывается холодной, а верхние - слишком горячими.

Умная сила

За последние пять лет Slumberland превратила то, что Митчелл называет "амбициозной сетевой кладовкой", в полномасштабный центр обработки данных, успешно поддерживающий общенациональную сеть розничных магазинов. Одновременно фирма четко определила свою стратегию применения ИТ для лучшего обслуживания клиентов. Современные системы отчетности, контроля за доставкой, инвентаризации, бухгалтерии, складского управления и планирования сбыта - все это позволило намного повысить эффективность работы и прибыльность бизнеса.

Технология здесь практически полностью централизована. Магазины Slumberland оснащены бездисковыми рабочими станциями производства Wyse Technologies с установленными на них ПО тонких клиентов Citrix Systems. Все данные сведены в единую сеть хранения SAN, а в качестве серверов используются компактные устройства с высокой плотностью размещения (на складах, скажем, установлены двухпроцессорные серверы-лезвия с 12-Гб ОЗУ).

"Такая конфигурация очень эффективна, - уверен Митчелл. - Благодаря SAN у нас сведен к минимуму избыток дискового пространства, а это значит, что нам не приходится платить за электроснабжение и охлаждение лишних жестких дисков".

В компании работает 2300 сотрудников, ей принадлежит 105 магазинов, но подразделение ИТ компании насчитывает всего шесть специалистов по инфраструктуре и еще шесть техников. "У нас налажено прямо-таки отличное управление технической стороной ИТ, - с гордостью заявляет Митчелл. - А все потому, что все наши информационные ресурсы сведены в единую жестко централизованную структуру".

Забота о максимальной эффективности проявляется и в конструкции самого ЦОД. Здесь, в частности, обеспечен оптимальный поток охлаждающего воздуха, что, по словам Митчелла, "позволило свести количество кондиционеров к необходимому минимуму".

Slumberland использует ИБП и средства охлаждения фирмы APC, модульность которых дает два важных преимущества. Во-первых, намного упрощается наращивание мощности по мере необходимости, а во-вторых, появляется возможность регулировать производительность таких систем в зависимости от текущей потребности, что приводит к экономии энергии.

"Сначала мы установили ИБП мощностью 30 кВт, потом нарастили ее до 40 кВт и при необходимости без труда повысим до 80 кВт, - поясняет Митчелл. - А вот при выборе систем охлаждения мы рекомендаций APC не приняли. Нам советовали развернуть жидкостные установки, но все их достоинства с лихвой перекрывались для нас опасностью протечек и другими свойственными воде неприятностями, с которыми многим из нас уже приходилось сталкиваться. В результате мы решили обойтись системами воздушного охлаждения".

Нарастающая проблема

По данным исследования, проведенного Uptime Institute, с 1999-го по 2005 г. энергопотребление вычислительного центра общей площадью свыше 93 тыс. кв. м возросло в среднем на 39%. Обычной стала ситуация, когда такой центр из месяца в месяц потребляет порядка мегаватта электроэнергии, чего вполне хватило бы для тысячи жилых домов. По самым скромным оценкам, вычислительные центры Америки платят по счетам за электричество около 3,3 млрд. долл. в год. А ведь эти данные, по мнению Куми, могут быть сильно заниженными, так как зачастую относятся лишь к энергоснабжению вычислительного оборудования без учета кондиционеров и других вспомогательных систем.

Показательно в этом отношении исследование, проведенное ассоциацией менеджеров центров обработки данных AFCOM. Как показал опрос, 90% ее членов считает, что рост цен на электроэнергию и ограничения на ее поставку угрожают замедлить или вообще остановить строительство новых вычислительных центров, а также затруднить работу уже действующих.

Повышение энергопотребления в определенной степени объясняется увеличением мощности процессоров. Но, как подчеркивает аналитик исследовательской фирмы IDC (Фреймингхем, шт. Массачусетс) Вернон Тернер, это лишь один из целого ряда факторов. Главной же составляющей он считает многолетнюю тенденцию на централизацию корпоративных вычислений. А она, в свою очередь, вызвана стремлением к снижению расходов на поддержку серверов в десятках, а то и сотнях географически разнесенных между собой мест.

Техническое обслуживание и сопровождение шести маленьких серверов электронной почты на территории трех штатов, скажем, обходится гораздо дороже, чем поддержка одного-двух крупных серверов в стойке рядом с сетевым администратором. Ведь повернуться на стуле несравненно проще и быстрее, чем отправляться для устранения локальной проблемы даже в соседнее здание, а уж тем более в другой штат.

В стойках вычислительного центра Slumberland

 оставлено много свободных ячеек, но

 при необходимости их можно заполнить

даже без перегрузки системы охлаждения

"Хотя бюджеты ИТ сейчас и не растут, в вычислительных центрах активно развертываются все новые серверы и системы хранения данных, - отмечает Тернер. - Приобретение более производительного сервера можно только приветствовать, а вот попытка втиснуть его в уже имеющееся шасси часто приводит к неестественной ситуации. Приходится совмещать несовместимое, ведь новое приобретение вовсе не обязательно соответствует таким же требованиям электроснабжения и охлаждения, что и уже развернутые машины. Об этом хорошо известно в корпоративных вычислительных центрах крупнейших компаний из списка Fortune 100, а вот фирмы среднего уровня о такой опасности порой даже не подозревают. А ведь сейчас перегрев расположенных по соседству устройств грозит очень серьезными проблемами".

Холодный воздух подается к стойкам через

 перфорированные напольные плитки, а

 затем принудительно отводится вентиляторами

 в специальные воздуховоды

По наблюдениям Расмуссена из APC, гораздо большую озабоченность повышенное энергопотребление ЦОД вызывает в Европе. Не говоря уже о росте цен на электричество, огромную роль здесь играет активная и эффективная деятельность сторонников защиты окружающей среды. Впрочем, экологический фактор приобретает все большее значение и в США. Многие американские компании и производители оборудования подключаются к программе Energy Star Агентства по защите окружающей среды (ЕРА), создавая в ее рамках более экономичные с точки зрения энергопотребления ПК, ноутбуки и другие устройства. Вот только, к сожалению, в этом списке не найдешь высокопроизводительных систем с большой плотностью монтажа, которые как раз и превращают вычислительные центры в подобие сауны. Нынешняя версия программы Energy Star на них, увы, не распространяется, однако, похоже, движение начинается и в этом направлении. В январе ЕРА приступило к разработке ее новой версии, нацеленной как раз на серверы.

Важнейшим мерилом энергетической эффективности сервера, по мнению Куми, является объективная оценка реально потребляемой тем или иным устройством мощности. На сегодняшний день каждый производитель измеряет энергопотребление своей продукции по-своему, поэтому потребитель просто не в состоянии сопоставить между собой разные устройства.

ЕРА вовсе не стремится к тому, чтобы просто добавить логотип Energy Star на все серверы, уверен Куми. Агентство идет по другому пути: опираясь на свои контакты и опыт реализации программы Energy Star, оно намерено объединить усилия производителей и технических экспертов для выработки единой системы измерения энергопотребления, пригодной для серверов многих типов.

"Без единого мерила нечего и думать об управлении энергопотреблением, -утверждает Куми. - Это просто ужасно, что компании, приобретая тысячи серверов, оказываются не в состоянии правильно оценить их по этому параметру".