Начавшийся в конце прошлого века бум строительства центров обработки данных (ЦОДов) продолжается и по сей день. Можно не сомневаться, что с ростом потребности предприятий во все более сложных и эффективных информационных системах, повышением требований к надежности, защищенности и управляемости ИТ-инфраструктуры, а также ее контролируемости с точки зрения эксплуатационных расходов будет расти и заинтересованность в создании современных ЦОДов. В не меньшей степени это относится к государственным структурам и органам управления, задачи которых в области информатизации сегодня диктуются не только необходимостью более эффективной организации внутренней работы, но и принятыми на федеральном, региональном и местном уровнях программами в поддержку формирования электронного правительства, предполагающего расширение предоставляемых населению госуслуг через онлайновые сервисы. А это значит, что не только в верхнем, но и в среднем и нижнем звеньях исполнительной власти новые более сложные задачи могут потребовать перехода от начальных форм организации ИТ-инфраструктуры на базе ЛВС и отдельных серверов или серверных комнат к созданию полноценных ЦОДов.

В префектуре Зеленоградского административного округа г. Москвы (ЗелАО), где уже несколько лет активно реализуется проект “Электронный Зеленоград”, с такой необходимостью столкнулись еще пять лет назад. “Тогда в префектуре серверная размещалась на третьем этаже в небольшом помещении без специальной системы кондиционирования воздуха, а поскольку состав оборудования постоянно наращивался, стали возникать проблемы с поддержанием его работоспособности, — рассказала Анна Коробова*, начальник отдела службы “одного окна” и информатизации префектуры ЗелАО. — Перегрев серверного оборудования, сбои в электроснабжении приводили к отключению ИТ-систем, поэтому было принято решение о создании нового центра обработки данных”.

На пути к новому ЦОДу

Хотя технологии построения ЦОДов постоянно развиваются, уже на тот момент они достигли определенного уровня зрелости и стандартизации. На эти стандарты и опирался отдел информатизации префектуры при разработке ТЗ на проект перед проведением тендера. Однако и проблемы, с которыми здесь столкнулись уже на начальном этапе, вполне типичны. Прежде всего это выбор помещения. Помимо уже использовавшегося на тот момент серверного, сетевого и телекоммуникационного оборудования в нем нужно было разместить и комплекс инженерных систем, включающий системы прецизионного кондиционирования, бесперебойного питания, охранной и тревожной сигнализации, контроля и управления доступом, автоматического газового пожаротушения. Это диктовало вполне определенные требования к площади помещения, а таковых всегда не хватает. В конечном счете под ЦОД выделили часть помещения на втором этаже здания префектуры, для чего пришлось переселить ранее занимавшую его редакцию местной газеты и провести перепланировку.

Вторая проблема, не менее традиционная, — внешнее энергоснабжение. “Подстанция, которая обслуживает в том числе и префектуру не могла обеспечить необходимую для ЦОДа дополнительную мощность, — пояснила ситуацию Анна Коробова. — Пришлось оформлять дополнительную заявку, и эту проблему в течение года решили”. На данное обстоятельство, безусловно, следует обратить внимание, если учесть, что на реализацию проекта по созданию ЦОДа с выполнением необходимых ремонтно-строительных работ, монтажа и наладки оборудования потребовалось всего четыре месяца.

Победу в тендере на выполнение проекта, организованном префектурой ЗелАО согласно закону №94-ФЗ “О размещении заказов на поставки товаров, выполнение работ, оказание услуг для государственных и муниципальных нужд”, одержала компания “Систематика”. При этом, как того требует закон, оценивалось не техническое решение, а предложенные допущенными к участию в тендере компаниями условия. Критерии оценки: срок выполнения работ, срок предоставления гарантии на поставляемое оборудование и качество работ, функциональные и качественные характеристики выполняемых работ и, конечно, общая стоимость контракта. “Предложение компании “Систематика” оказалось наиболее интересным, а начальная цена в ходе конкурса была снижена почти на 20%. Все это и определило выбор”, — сказала Анна Коробова.

Именно “Систематика” исходя из технического задания заказчика разработала техническое решение для ЦОДа, которое впоследствии и было реализовано. В силу имеющихся пространственных ограничений и вполне предсказуемой неравномерности распределения рабочей нагрузки и соответственно нагрева отдельных компонентов ЦОДа в качестве системы инженерного обеспечения было выбрано комплексное решение APC InfraStruxure (тип B). Созданное по модульному принципу (конфигурируется под конкретные нужды заказчиков из стандартных модулей) и легко масштабируемое, оно рассчитано на вычислительные центры небольших и средних размеров и объединяет в себе все важнейшие инженерные подсистемы ЦОДа: прецизионного кондиционирования, обеспечения бесперебойного электропитания, распределения электропитания и подачи хладагента.

Применение унифицированного и стандартизованного решения существенно упростило монтаж оборудования. Наиболее же сложным этапом в реализации проекта, как считает Анна Коробова, стал перенос инфраструктуры с третьего этажа, где размещалась старая серверная, на второй, где создавался ЦОД: “На третьем этаже сходились все основные коммуникации. Это и структурированная кабельная сеть, и цифровая телефония, и спецсвязь префекта, и оптоволоконный кабель городской мультисервисной транспортной сети (ГМТС), и подключение к сети интернет-провайдера. Кроме того, в разное время здесь были размещены некоторые автономные подсистемы, в частности связанные с ГАС “Выборы”. Все это, а также серверы, поддерживающие наши информационные системы, нужно было перенести так, чтобы не нарушить работу префектуры и управ районов округа. Поэтому работы проводились очень аккуратно, в основном в выходные дни или ночное время”.

Оглядываясь назад

С тех пор прошло уже четыре года, и теперь можно в полной мере оценить результаты того проекта и его уроки. “Фактически он позволил перейти на новую ступень в информатизации префектуры, — считает Анна Коробова. — Помимо создания надежной основы для поддержания и развития наших информационных систем удалось попутно выполнить и требования телекоммуникационных компаний-провайдеров, а также ФХУ мэрии Москвы по предоставлению отдельного полностью контролируемого ими серверного пространства”. Вместе с тем, отметила она, после реализации подобного проекта нужно быть готовым к тому, что в первый год проявятся и узкие места.

Не обошлось без них и в данном случае. Хотя в целом проблема охлаждения оборудования была решена, оказалось, что сбои в электрической сети приводят к остановке чиллера, обеспечивающего подачу хладагента к инженерной системе APC InfraStruxure. Перезапуск чиллера можно было осуществить только вручную, и это создавало очевидные проблемы, предвидеть которые на этапе разработки чиллерной системы (этим занимался субподрядчик “Систематики”) было трудно. При выключенном чиллере прецизионная система кондиционирования InfraStruxure, естественно, не могла выполнять свои функции, и в течение часа температура в ЦОДе поднималась до 30—40°С. Если администратор ЦОДа в этот момент отсутствовал, то по получении оповещения он был вынужден в дистанционном режиме отключать наиболее энергоемкие подсистемы (благо инструменты управления InfraStruxure позволяют это сделать) и срочно выезжать на место. Проблема была решена после установки резервного чиллера с системой автоматического перезапуска.

Говоря о проектах такого рода в госорганизациях, нельзя обойти вниманием и проблемы не технического характера. С момента завершения строительства ЦОДа в префектуре ЗелАО его обслуживание, как, впрочем, и обслуживание ЛВС, а также отдельных программно-аппаратных комплексов и информационных систем (в частности, системы документооборота и финансово-экономической системы, без которых невозможно нормальное функционирование префектуры) обеспечивается по модели аутсорсинга. В этом, по словам Анны Коробовой, есть свои несомненные плюсы: с одной стороны, это позволяет передать ИТ-инфраструктуру в руки профессионалов, с другой — не раздувать штат отдела информатизации префектуры и сфокусировать его сотрудников на стратегических задачах.

Однако есть и минусы, обусловленные, в частности, требованиями уже упомянутого выше закона №94-ФЗ. “По закону мы обязаны каждый год проводить новые аукционы и конкурсы для выбора обслуживающей компании и, следовательно, мириться с тем, что ей необходимо время, чтобы разобраться в нашем непростом хозяйстве, — заметила Анна Коробова. — Определяющим критерием при проведении аукционов является цена. В результате у нас уже три раза менялась организация по обслуживанию ЦОДа. Это большая проблема. Например, в прошлом году мы таким же образом передавали свою ЛВС от одной организации другой, и в результате сеть не работала целую неделю, хотя у нас имеется специальный регламент, создается комиссия, снимаются скриншоты, подтверждающие, что система передается в работоспособном состоянии. Кроме того, контракт предусматривает штрафные санкции к обслуживающей организации, и они все более ужесточаются, но это слабо защищает госзаказчика. По закону контракт может быть расторгнут только в двух случаях: по взаимному соглашению сторон или через суд. Но в случае конфликта никаких взаимных соглашений быть не может, а суды длятся не менее двух месяцев, и на этот период мы не можем заключить другой контракт. А без сети, без электронного документооборота, без финансово-экономической системы деятельность префектуры и управ районов, госучреждений останавливается, также как и предоставление электронных и мобильных услуг населению”.

Сегодня и завтра

Построенный в 2006 г. ЦОД сегодня поддерживает всю деятельность в области информатизации префектуры ЗелАО. “Все наши “мозги” лежат там, — констатирует Анна Коробова. — Фактически это центр ИТ-инфраструктуры зеленоградского округа, потому что информационные системы у нас построены как распределенные. Серверы находятся здесь, а управам и госучреждениям мы предоставляем сервисы. Всего же в едином информационном пространстве работает около 500 сотрудников”.

Хотя физические резервы ЦОДа еще не исчерпаны, в отделе информатизации префектуры уже задумались и о перспективах на будущее. Сегодня здесь их связывают с технологиями виртуализации (они позволят не только повысить коэффициент использования оборудования, но и более эффективно управлять энергопотреблением ЦОДа), а также с облачными вычислениями. “Я думаю, мы придем к использованию инфраструктуры как сервиса (IaaS), — считает Анна Коробова. — Префектурам предстоит внедрять типовые компоненты (их уже двенадцать), которые охватывают все основные сферы их деятельности — социальную, жилищно-коммунальную, работу с молодежью. Это потребует дополнительных серверных мощностей. Поэтому целесообразнее переходить к облачным технологиям, которые обеспечат централизованные сервисы для всех префектур. В принципе это решение уже поддержано Управлением информатизации Правительства Москвы, и мы надеемся, что оно будет реализовано. В частности, в рамках особой экономической зоны технико-внедренческого типа на территории Зеленоградского АО г.Москвы будет построен ЦОД площадью 13 тыс. м2. Уже готов проект, он прошел необходимое согласование, и первая очередь должна быть готова в следующем году. Это наша перспектива”.

* Анна Коробова имеет ученую степень кандидата экономических наук и является соавтором недавно вышедшей в издательстве “Инфра-М” книги “Государственное и муниципальное управление с использованием информационных технологий”.