Университет штата Джорджия обходится без подпитки извне (почти)

Все на земле развивается — и люди, и работа, и центры обработки данных. А когда дело доходит до модернизации техники, что-то всегда развивается быстрее. Хорошим практическим примером тому, как это происходит в эпоху информационных технологий, всё более мощных серверов данных и хранилищ, может служить современнейший ЦОД в университете штата Джорджия. Здесь удалось не только добиться максимальной производительности и обеспечить необходимый уровень обслуживания, но и на целых 80% снизить потребление энергии из электросети.

Вычислительный центр этого учебного заведения в Атланте был создан в 1968 г. и состоял из трех мэйнфреймов Unisys. За прошедшее с тех пор время он превратился в мощный современный центр обработки данных, способный почти полностью обойтись без внешнего электроснабжения. Правительство штата закупило для него достаточно автономных генераторов, чтобы ежедневно удовлетворять суточные потребности вычислительных систем. На сегодняшний день, как рассказал нам менеджер технического центра этого университета Джерри Ален, “прямо из розетки” потребляется лишь 20 кВт, да и те расходуются на питание незащищенных стоек со вспомогательными серверами, которые используются для тестирования и выполнения специальных проектов.

Остальное же оборудование питается от трех мощных ИБП. Один из них использует старую добрую кинетическую энергию вращающегося маховика, а два других представляют собой турбогенераторы, преобразующие в электричество энергию горячего сжатого воздуха. Помните напольные часы с маятником? Первый источник основан на том же самом принципе. Вращающийся маховик Active Power массой 360 с лишним килограммов практически не требует обслуживания — достаточно раз в четыре года менять его шарикоподшипники.

Может, вам показалось, что речь идет о крохотном вычислительном центре? Отнюдь, что хорошо видно из приведенных ниже цифр.

  • В центре работает 16 штатных сотрудников, обслуживающих оборудование. Специалисты извне приглашаются сюда только для выполнения электромонтажных работ.
  • ЦОД работает 24 часа в сутки, 7 дней в неделю и 365 дней в году. Сотрудники дежурят здесь даже на Рождество.
  • Центр обеспечивает сетевой мониторинг всех без исключения конечных узлов, включая разбросанные по всему университетскому городку точки беспроводного доступа, все сетевое оборудование, все хост-серверы, все ИБП, телефонную систему Avaya вместе с дополнительной системой IP-телефонии.
  • На площади в 511 квадратных метров здесь размещается 95 серверных стоек и 550 хост-серверов.

Центр обеспечивает работу примерно трех десятков приложений непрерывного действия. В их числе — программа онлайновой регистрации Banner и административная база данных Solar. “Последняя содержит информацию о студентах, все их отметки, каталог учебных курсов, сведения о профессорско-преподавательском составе, — говорит Ален. — Другими словами, здесь собрано всё необходимое”.

Кроме того, в вычислительном центре развернут кластерный суперкомпьютер IBM P575 с десятью узлами, каждый из которых оснащен четырьмя или восемью процессорами. Он используется для выполнения исследовательских проектов, таких, например, как SURAGRID, в котором участвуют в общей сложности 27 кластеризованных систем из нескольких исследовательских организаций юго-восточной части США. Все они подключены к общей сети и сведены в единую вычислительную “решетку”, где каждый участник проекта может по мере необходимости получать доступ к его необъятным ресурсам.

В качестве бухгалтерской системы университет применяет приложение Spectrum, кадровая информация обрабатывается здесь с помощью программного обеспечения PeopleSoft, решения Novell используются для электронной почты и ряда других приложений.

“Наши серверы работают под управлением операционных систем Windows, Solaris 8 и 10, Unix, для электронной почты на них развернуто приложение GroupWise, а в качестве хранилища служит StorageLocker”, — рассказывает Ален. Последнее, по его словам, позволяет квотировать общее пространство хранения, в котором каждому студенту и преподавателю выделяется определенный участок.

ЦОД обеспечивает даже доступ в публичную библиотечную систему Джорджии, где студенты могут заказывать книги, отсутствующие в библиотеке университета.

“Это сердце университета, — с гордостью заявляет Ален. — На него завязано практически всё. Мы контролируем доступ в Интернет, отслеживаем, что идет к нам и уходит от нас”.

Скромное начало

Первый этаж учебного корпуса в Атланте, где сейчас размещается вычислительный центр университета Джорджии, для такой роли никогда не предназначался. Отдел информационных технологий сначала арендовал эти помещения у университетской библиотеки, которая использовала их для хранения литературы. В результате сразу возникли проблемы с электроснабжением. На первом этапе в этих целях применялись аккумуляторы — огромные батареи из них. “В те времена аккумуляторы Active Power Symmetra занимали чуть ли не всю площадь нашего центра, — вспоминает Ален. — К каждому из них было подключено две, три, а то и четыре стойки. Тогда у нас не было даже главного выключателя, так как при отключении электричества тут же запускались сразу все ИБП”. Персоналу приходилось помимо всего прочего заниматься еще и обслуживанием аккумуляторных батарей, что приводило к дополнительным рискам. Всё говорило о том, что от батарей необходимо было избавляться.

Механика модернизации

Ниже описана новейшая история преобразования технического операционного центра университета Джорджии.

2003 Развертывается новая система резервного электропитания, состоящая из ИБП мощностью 300 кВ·А с вращающимся маховиком и дизель-генератора мощностью 500 кВт. Она заменяет множество аккумуляторных ИБП, которые до этого были размещены по всему залу ВЦ, и обеспечивает надежное энергоснабжение ядра кампусной сети и более двух сотен серверов университета. Вычислительный центр официально получает статус безбатарейного и “зеленого” задолго до того, как на экологические рельсы начинает переходить вся отрасль.

2004 Пост ассоциированного проректора и менеджера по информатизации университета занимает Дж. Л. Альберт, который придерживается “эволюционного, а не революционного” пути развития технических сервисов в университетском городке. Начало новой эры знаменуется переименованием отдела информационных услуг в сетевой операционный центр. Его сотрудники освобождаются от размотки замятых магнитных лент и распечатки документов, их должностные обязанности пересматриваются, а штат сокращается. Одновременно в вычислительном центре открывается 16 новых технических должностей, которые заполняются к 1 июля. В центр приходят сотрудники с отраслевыми сертификатами, принимающие на себя работу по размещению в стойках, монтажу и кабелированию всего оборудования вычислительного центра.

2005 После краткой процедуры вывода из эксплуатации мэйнфрейма IBM S/390 сотрудники ВЦ с энтузиазмом приступают к его демонтажу и спустя час грузят составные части на тележки. За год выполнения проекта Extreme Makeover: Network Edition производится модернизация всей кампусной сети, готовится перевод телефонной системы на IP-телефонию. Все сетевое оборудование меняется на коммутаторы и маршрутизаторы Extreme Networks, из сетевого операционного центра убираются все коммутационные панели, на смену которым приходят коммутаторы типоразмера 4U (7 дюймов, или 17,8 см). Технический персонал ВЦ принимает на себя обслуживание всех 50 коммутаторов данных и 42 устройств Raritan Dominion KX/SX, расположенных в центре. Начинается перевод всего оборудования в шкафы WrightLine Paramount высотой 44U (111,76 см) и его стандартизация на напряжение 220 В при токе до 30 А.

2006 Когда в онлайновый режим одновременно переходит множество проектов, нагрузка на ИБП с маховиком возрастает до предела, и свободной мощности не остается. Во избежание таких ситуаций в вычислительном центре устанавливается ИБП постоянного напряжения Active Power CoolAir мощностью 100 кВ·А, к которому подключается оборудование новых проектов, в том числе суперкомпьютер IBM P575. Проявляется побочное достоинство этого устройства: когда оно работает, в зал поступает воздух с температурой 13 °С, что помогает охлаждать установленное здесь оборудование.

2007 В университетском городке развертывается система IP-телефонии. По завершении этого проекта становится ясно, что название University Computing & Communications Services (университетская служба вычислительной техники и связи) больше не соответствует выполняемым ею функциям, и принимается решение о переименовании этой службы в Technology Infrastructure (техническая инфраструктура). Одновременно новое имя получает и сетевой операционный центр, который отныне становится техническим операционным центром. На сотрудников центра возлагается оперативное устранение неполадок в системе IP-телефонии Avaya.

Источник: сообщения eWeek.

К тому же со временем университет расширялся, и вместе с этим возрастали требования к его компьютеризации. Алену и помощнице менеджера вычислительного центра Мелиссе Ламуро становилось все яснее, что мощности надо наращивать. “Я начал изучать рынок и нашел ИБП на сжатом воздухе Active Power CoolAir, — продолжает Ален. — Ему не требовались ни батареи, ни место хранения, ни техническое обслуживание. Другими словами, сплошная экономия. К тому же эту машину не нужно было даже покупать, ее можно арендовать на год. Полтора года назад мы обзавелись таким ИБП мощностью 80 кВт”.

Один-единственный ИБП на сжатом воздухе обеспечил питание всей исследовательской вычислительной “решетки” университета и еще четырех стоек оборудования общеуниверситетского портала. Последний, кстати, в ближайшее время должен быть переведен из стадии экспериментального проекта в производственный.

ИБП на сжатом воздухе приводится в действие турбиной, отработанный воздух из которой подается в серверный зал. Его температура составляет около 13 °С, так что по существу, одновременно с выработкой электроэнергии для оборудования решается и проблема его охлаждения. “Это старая технология. Небольшой маховик обеспечивает инерционное питание в течение двух-трех секунд после отключения внешнего напряжения, чего вполне достаточно для запуска турбины на сжатом воздухе, — поясняет Ален. — Этот воздух нагрет до температуры 390 °С и поэтому настолько сух, что на другом конце не возникает и следов конденсации, хотя температура здесь не превышает 13 °С. Раскрученная им турбина производит переменный электрический ток, который затем пропускается — как и в любых других ИБП — через гигантский выпрямитель и становится постоянным. Отсюда ток поступает в распределительную систему, а через нее подается на стойки. Вот так и снабжается наш вычислительный центр электроэнергией”.

Приступая к реализации очередного проекта, руководство университета решило развернуть еще один ИБП на сжатом воздухе мощностью 50 кВ·А (40 кВт). Но осталась в здании и обычная незащищенная электросеть без генераторов и источников бесперебойного питания. “Ею персонал пользуется главным образом для тестирования и оценки различных систем, для второстепенных проектов, — отмечает Ален. — Но если здесь пропадает напряжение, все подключенные системы сразу же рушатся”.

Резервные мощности рассчитаны на 15 минут полноценной работы вычислительного центра после прекращения внешнего электроснабжения. “Этого времени вполне достаточно для штатного отключения всего оборудования, — констатирует Ален. — Правда, за все время, что я работаю здесь, не было ни одного отключения дольше пяти минут. Разве только мы не отключались сами. Но это совсем другое дело”.

Университет питается от той же электрической подсети, что и травмопункт местной больницы, поэтому напряжение здесь пропадает крайне редко. А если это и случается, то ненадолго. А ИБП на сжатом воздухе, как уже отмечалось, обеспечивает работу на протяжении четверти часа, что позволяет безболезненно пережить такие сбои в подаче электроэнергии. “Действующими требованиями предусматривается семиминутное окно защиты, поэтому нынешние возможности нас полностью устраивают, — говорит Ален. — Если же сбой продлится дольше, то без серьезных проблем не обойтись при любой защите”.

По его словам, генераторы с маховиком и турбинами дают немалую экономию на счетах за электричество, но оценить ее численно пока трудно. Вполне возможно, что применение этих агрегатов снижает потребление энергии вдвое, а то и на все 80%, но точных данных на сегодня нет. Дело в том, что просто невозможно измерить мощность, потребляемую только оборудованием вычислительного центра. “У нас измеряется энергопотребление всего здания, поэтому я не могу выделить из общего счета свою долю и тем более перевести ее в доллары экономии, — признается Ален. — Чтобы определить всё это, нужно пригласить электриков, что требует времени. Active Power утверждает, что благодаря высокой эффективности ее оборудования мы должны потреблять намного меньше энергии, и я верю им. Даже несмотря на то, что у меня нет подтверждающих цифр”.

“Зеленый” подход — это здорово!

“Зеленая” структура всего вычислительного центра, как признается Ален, “оказалась намного лучше того, что ожидалось”. Это теперь представляется, что именно такой она и должна быть, но семь лет назад даже вообразить было невозможно, во что превратится университетский центр обработки данных. “Когда я пришел сюда, — вспоминает Ален, — основное внимание уделялось вопросам организации и управления, а технические аспекты оставались на втором плане. Но я начинал работать без особых претензий, безо всякой предвзятости насчет будущего нашего сетевого центра. Я даже не знал, что есть вещи, которыми не принято жертвовать. Поэтому мне ничто не мешало нарушать традиционные каноны и действовать по собственным правилам. Честно говоря, я получил немало удовольствия, у меня как бы появилась лицензия на творчество. Кое-какие из наших задумок, правда, результата не дали, но зато другие сработали отлично. Это было просто здорово — творить новое!”