Сколько бы материалов ни было написано о строительстве дата-центров, люди, приступающие к их созданию, часто упускают из виду целый ряд нюансов, совершая одни и те же ошибки. Попробуем определить разницу между компанией, впервые планирующей строить дата-центр, и системным интегратором, реализовавшим не один десяток таких проектов. Разница эта определяется опытом, который складывается из проблем и ошибок, успешно разрешенных профессионалами в области строительства ЦОДов. О таких ошибках и способах их исправления пойдет речь в настоящей статье.

Прежде всего следует отметить, что при строительстве любого объекта, в том числе и дата-центра, традиционно можно выделить несколько этапов, таких как обследование объекта, составление технического задания, разработка проектной документации, поставка оборудования, монтаж инженерных систем, пусконаладочные работы и ввод в промышленную эксплуатацию. Ошибки возможны на любом из них. Чем раньше стадия, на которой они произошли, тем больше усилий может потребоваться на их устранение на следующих этапах реализации проекта.

Совет № 1. Разнесите инженерные подсистемы в пространстве. Заказав проектную документацию по всем системам у разных подрядчиков, будьте готовы выступить в роли главного инженера проекта. Центр обработки данных состоит из множества инженерных подсистем со своими коммуникационными трассами, которые часто пересекаются между собой (например, трубы газового пожаротушения и лотки СКС или шинопровод). Подобные пересечения намного проще устранить на этапе проектирования, чем поручать это монтажным организациям, так как результатом будет как минимум удорожание работ. Если у вас нет навыка работы со строительными чертежами и разобраться в хитросплетении трасс, наложив чертежи друг на друга, вы сами не в состоянии, организуйте общее собрание всех подрядчиков и попросите каждого разъяснить расположение своей системы. Таким образом, путем переговоров, все системы ЦОДа могут быть “разнесены” в пространстве на достаточное расстояние.

Совет № 2. Продемонстрируйте монтажным организациям проектную документацию. Если ваши подрядчики по монтажным работам и по проектированию представляют разные организации, а вы на этапе проектирования уже определились с выбором следующего подрядчика, покажите ему документацию на ранних стадиях подготовки проекта. Часто фирмы, занимающиеся проектированием, бывают далеки от реальной жизни и лишь приблизительно представляют себе, как именно будет выглядеть их проект, реализованный “в железе”. В этом случае может оказаться, что проектное решение либо сложно смонтировать, либо неудобно эксплуатировать. К примеру, проектировщик может предусмотреть один толстый электрический кабель, а между тем на объекте по имеющейся документации можно проложить только несколько мелких и гибких. И снова это в лучшем случае выльется в дополнительные расходы.

Совет № 3. При обследовании объекта уделите особое внимание размерам помещений, через которые вы будете проносить оборудование. Специалисты в области строительства ЦОДов неоднократно отмечали, что заказчики, в том числе крупные интеграторы, пытавшиеся пронести в машинный зал нестандартную серверную технику уже после строительства дата-центра, сталкивались с серьезными трудностями, потому что на этапе обследования и проектирования не было учтено, что сервер IBM 595 или HP Superdome может просто не пройти в дверь ЦОДа, а на то, чтобы разобрать и снова собрать такое оборудование, не остается времени и ресурсов. Подобная ситуация возможна и на этапе строительства, так как ИБП и кондиционеры также имеют крупные габариты. Наилучший выход в этом случае — пригласить подрядчика, оказывающего профессиональные услуги в области такелажных работ, и попросить его оценить возможность перемещения необходимого оборудования внутри здания. При этом следует заранее подумать, проедет ли грузовой транспорт с такой техникой на территорию дата-центра, — иногда возникают проблемы с проездом через низкие ворота или под эстакадой. На этапе обследования нужно пригласить на объект и специалиста-крановщика, чтобы он помог предусмотреть сложности в процедуре установки габаритного оборудования. В практике специалистов в области строительства ЦОДов случалось, что многотонный кран под весом дизель-генераторной установки (ДГУ) проминал асфальт. Подобные ситуации можно предотвратить, заблаговременно получив консультацию эксперта.

Совет № 4. Не следует забывать и про экспертизу несущей способности перекрытий в будущем дата-центре. Для начала необходимо получить подтверждающие документы с соответствующей информацией от собственника помещения. Следует учесть, что современные офисные здания рассчитаны на несущую способность перекрытий в пределах 200—300 кг/м2, а этого недостаточно для дата-центра ввиду того, что лишь одна стойка с вычислительной техникой может весить 700—1000 кг при площади пятна 0,6 м2. К примеру, если вы планируете строить ЦОД в старом промышленном здании, перекрытия которого были рассчитаны на 1,5—2 т/м2, не забывайте, что по статистике нагрузочная способность может ежегодно терять до 1% от номинальной. Таким образом, здание, просуществовавшее пятьдесят лет, могло потерять за годы эксплуатации до 50% своей нагрузочной способности. Значит, по результатам экспертизы могут потребоваться работы по усилению несущей способности перекрытий.

Совет № 5. Обратите особое внимание на места складирования оборудования. Порой на этапе проектирования инженеры досконально прорабатывают все технические нюансы, но при этом забывают о методике непосредственного производства работ. Каково же бывает удивление заказчика, когда он получает дополнительные счета за хранение крупногабаритной техники или её перемещение с одного места на другое. Иногда объемные внутренние блоки прецизионных кондиционеров поступают на объект раньше, чем достигнута требуемая строительная готовность, и их нельзя поставить на штатные места согласно проекту. При этом кроме как в машинном зале разместить их на объекте нигде невозможно. Именно поэтому дорогостоящее оборудование часто приходится оставлять в заводской упаковке прямо на улице, под дождем и снегом, что, конечно, может негативно сказаться на его работоспособности. Или же вы будете бесконечно перемещать оборудование по помещению еще неготового дата-центра, царапая его и оставляя вмятины. В идеале следует получить от проектировщика раздел проектной документации под названием “Проект организации строительства”, но в любом случае нужно хотя бы по минимуму предусмотреть место для складирования техники дата-центра. Во избежание появления царапин рекомендуется не снимать технологическую упаковку до окончания всех строительно-монтажных работ. Если же распаковать оборудование необходимо для подключения, то потом желательно его вновь запаковать до проведения пусконаладочных работ.

Совет № 6. Уделяйте больше внимания фальшполам. В соответствии с давней традицией в дата-центрах устанавливают плиты с ПВХ-покрытием, которое, к сожалению, имеет свойство пачкаться и впитывать грязь и с таким же упорством сопротивляется очистке. Выход из этой ситуации найден давно, но, как, ни удивительно, подобного рода покрытия до сих пор встречаются в новых и самых крупных ЦОДах на российском рынке. В качестве выхода специалисты рекомендуют использовать плиты фальшпола с ламинатным покрытием, которое имеется в модельных рядах любого производителя. По стоимости оно незначительно отличается от ПВХ, но обладает более высокой устойчивостью к загрязнению, повреждениям и истиранию. Для таких покрытий достаточно влажной уборки, и они будут выглядеть как новые. На этапе строительства фальшполы необходимо покрывать оргалитом или аналогичными материалами — это позволит уберечь их от повреждений и избежать закупки новых плит уже после окончания монтажных работ.

Совет № 7. Важным элементом является изготовление съемного перекатного пандуса для завоза инженерного и серверного оборудования. Он может потребоваться, если в машинном зале поставлена противопожарная дверь, коробку которой по тем или иным причинам не удается заглубить заподлицо с фальшполом и внешним пандусом. Подобная тактика позволит сберечь средства, которые иначе пришлось бы затратить на ремонт колес у монтажных стоек и восстановление дверной коробки.

Совет № 8. Проведите границы ответственности всех подрядчиков, участвующих в строительстве. Дата-центр — это комплекс взаимосвязанных инженерных систем, которые на этапе проектирования вполне успешно объединяются, но в процессе реализации проектных решений об этом часто забывают. Так, монтажная организация может добросовестно выполнить свой раздел, но вопросы объединения различных систем в результате “повиснут в воздухе”. При обсуждении объемов работ следует определить, кто из подрядчиков отвечает за объединение противопожарной подсистемы и систем безопасности, за системы кондиционирования и энергоснабжения. Эти задачи не являются трудозатратными, но обычно никто не хочет выполнять работы, не прописанные в договорах. Такого рода недочеты легко выявить на этапе комплексного тестирования инженерных систем ЦОДа, и за их устранение, как часто происходит в реальности, подрядчики с удовольствием берут дополнительные деньги. Данная проблема часто выливается в финансовые потери и при заказе техники. Специалистам в области строительства ЦОДов известны случаи, когда по недосмотру одно и то же щитовое оборудование, например щит включения резервного питания для ДГУ или щит байпаса для ИБП, либо заказывалось дважды, либо его вовсе забывали заказать, так как не была четко указана граница ответственности при разделении спецификации проекта. Чтобы этого избежать, нужно тщательно сверять коммерческие предложения от поставщиков и подрядчиков с проектной спецификацией.

Совет № 9. Стоит очень внимательно отнестись к выбору производителя и поставщика оборудования. В качестве примера можно привести приобретение автомобиля опытным водителем, который производит комплексный обзор и анализ имеющихся предложений на рынке. Аналогичный процесс — расчет совокупной стоимости имущества/владения, или ТСО. Но зачастую заказчики не придают должного значения такому параметру при строительстве ЦОДа, особенно если это первый опыт работы в данной сфере. При этом стоит обратить внимание не только на цену оборудования, но и на срок гарантийной эксплуатации, а также на стоимость и частоту обслуживания оборудования и сроки поставки запасных частей. Лишь продуманный подход к выбору поставщика позволит надеяться на высокий уровень работоспособности оборудования и запасных частей в гарантийные и послегарантийные сроки.

Совет № 10. Весьма тщательно нужно отнестись к строительной подготовке. Качество материала, из которого вы собираетесь сделать каркас, потолок, пол и стены ЦОДа, может серьезно повлиять на расходы при дальнейшей эксплуатации помещения. Большинство заказчиков для устройства потолков используют приемлемые по цене модели “Армстронг”, а для стен гипсокартон. Зачастую не имеет смысла установка профессиональной гермозоны, особенно произведенной за рубежом. Такой вид затрат при всех своих плюсах может вылиться в весьма значительную сумму. Когда не позволяют технические или финансовые возможности, не надо строить саркофаг из комбинированных/сэндвич-панелей, но все же постарайтесь вместо обычного гипсокартонного листа использовать гипсометаллический, который не будет выделять пыль. Помимо этого стоит приобрести навесные беспыльные потолки хорошего качества. Такого рода решения позволят вам сэкономить как минимум на тех же самых фильтрах для кондиционеров и уберечь весьма недешевое серверное оборудование от преждевременных поломок.

Совет № 11. Наносите маркировку, чтобы в дальнейшем была возможна идентификация оборудования. Просите ваших подрядчиков маркировать электрощиты, СКС и кабели системы электроснабжения, а также следите за тем, чтобы маркировка присутствовала на трассах систем кондиционирования и стойках. Дабы упростить задачу, трассу кондиционирования можно и вовсе обозначить различными цветами. Такого рода подход к делу может существенно упростить эксплуатацию объекта и уменьшить вероятность ошибок, обусловленных человеческих фактором.

Совет № 12. Трассы парогенераторов можно снабдить водяными фильтрами. Чтобы продлить жизненный цикл системы кондиционирования, необходимо установить фильтры для очистки воды на трассу питания парогенераторов. При больших масштабах системы кондиционирования система фильтрации зачастую предусматривается проектировщиками изначально, но для малых серверных комнат столь важный элемент обычно не учитывают. Заметим, что стоимость данного агрегата не очень высока ввиду того, что для меньших масштабов можно обойтись бытовыми системами по очистке воды. В Москве для этой цели стоит использовать системы из трех последовательно установленных бытовых фильтров, каждый из которых выполняет отдельную функцию: первый связан с механической очисткой, второй обеспечивает обезжелезивание, а третий способствует умягчению. Такие меры могут продлить жизнь вашего парогенератора на 25—30%.

Совет № 13. Разграничивайте системы бесперебойного питания. Зачастую заказчик желает установить систему бесперебойного питания кондиционеров, тем самым повысив надежность работы ЦОДа. Нужно, однако, знать, что в случае питания вычислительной техники и системы кондиционирования от одного ИБП реализация такого технического решения несет больше вреда, нежели пользы. Это происходит вследствие того, что система кондиционирования создает высокочастотные помехи в сети бесперебойного питания, что негативно сказывается на серверном оборудовании и даже может привести к его поломке. Поэтому если вы предполагаете установить столь недешевое решение, то не скупитесь и для питания систем кондиционирования поставьте отдельный ИБП. При этом следует обратить внимание на устройства плавного пуска для системы кондиционирования, которые снижают уровень пусковых токов и позволяют подобрать более дешевую систему ИБП меньшего номинала.

Совет № 14. Экономьте “на птицах”. При наружном монтаже трубопроводов системы кондиционирования (фреоновой или жидкостной) используйте утеплитель, покрытый фольгой. Фольга убережет утеплитель от прямых солнечных лучей, вызывающих его преждевременное разрушение, а также от птиц, которые с удовольствием его клюют. Экономия на утеплителе влечет за собой увеличение расходов на электроэнергию: повреждение какого-то его слоя вызывает нарушение теплообмена, а из-за этого повышаются энергозатраты в системе и соответственно увеличиваются расходы на обслуживание дата-центра.

*В данном материале мы упомянули лишь некоторые аспекты, которые на практике встречаются наиболее часто и учёт которых может привести к существенной экономии ресурсов при строительстве дата-центра. Такие проекты скрывают массу подводных камней, с которыми в первый раз не так-то просто разобраться, поскольку заказчиками чаще всего выступают внутренние ИТ-службы компаний, далекие от строительства. Надеюсь, что наши советы хотя бы отчасти помогут тем, кто решил ступить на тернистый путь возведения дата-центра собственными силами.

Автор статьи --  генеральный директор компании “ДатаДом”.