“ТЕХНОСЕРВ А/С” ЗАВЕРШИЛ ПОСТРОЕНИЕ ЦОДа В СИБИРИ

В 2002 г. “Сибирьтелеком” приступила к построению мощной ИТ-инфраструктуры, основу которой должны были составить современные центры обработки данных (ЦОД). Планы подразумевали создание двух таких ЦОДов, и уже в 2003 г. было начато проектирование датацентра для генеральной дирекции “Сибирьтелекома”. Решение об этом, по словам Анатолия Гриба, технического директора “Сибирьтелекома”, было принято в связи с началом внедрения централизованной информационной системы — ERP Oracle e-BS. Фактически речь шла о построении мощного центра обработки и хранения данных, причем “с нуля”, прокомментировал технический директор департамента по работе с межрегиональными операторами связи компании “ТехноСерв А/С” Николай Плеханов: этот ЦОД должен был занять центральное место в системе поддержки корпоративных приложений оператора. Решение такой глобальной проблемы предполагало длительное сотрудничество с исполнителем проекта, выбор которого стал важной первоначальной задачей для ИТ-департамента телекоммуникационного провайдера. В конечном счете, пояснил г-н Гриб, предпочтение было отдано компании “ТехноСерв А/С”.

Задачи

Основная задача ЦОДа генеральной дирекции — обеспечение работы корпоративных информационных систем ОАО “Сибирьтелеком”, в первую очередь таких, как система управления предприятием Oracle e-BS, АСР (автоматизированная система расчетов) “Старт” и система “Интерконнект”, предназначенная для расчетов между компаниями-операторами. Одной из наиболее значимых здесь также является система сбора данных и их предварительного анализа, функционирующая на платформе HP OpenView Internet Usage Manager (HP IUM), работа которой обеспечивается сервером HP SuperDome. Вся информация о состоявшихся телефонных соединениях клиентов поступает в HP IUM и после предварительной обработки — в биллинговую систему, где формируются счета за услуги для клиентов. Подключение к биллинговой системе пользователей системы АСР “Старт” осуществляется через терминальные серверы, функционирующие под управлением ПО Citrix Access Suite на аппаратной платформе, в качестве которой используется ферма серверов Sun Fire X4100.

Особенности реализации. Серверы

Основу вычислительной инфраструктуры ЦОД составляют серверы Sun Fire E25K, Sun Fire E20K, Sun Fire E6900 и HP Superdome. Как пояснил Николай Плеханов, главными критериями здесь являлись производительность обработки больших объемов данных и совместимость с разными приложениями. Так, Sun Fire E25K, входящий в состав ЦОДа, предназначен непосредственно для датацентров, консолидирующих нагрузку нескольких приложений и имеющих дело с большими объёмами данных. В Sun Fire E25K одновременно можно устанавливать несколько десятков процессоров UltraSPARC III, UltraSPARC IV и UltraSPARC IV+.

В линейку серверов НР Superdome, выбранную для “Сибирьтелекома”, входят высокопроизводительные серверы корпоративного уровня: семейство HP 9000 на базе процессоров PA-8800, а также семейство HP Integrity на основе Intel Itanium 2. Серверы HP Superdome обоих семейств поддерживают установку до 64 или 128 процессоров (процессорных ядер). Надо отметить, что особенность семейства HP Integrity заключается в поддержке нескольких 64-разрядных операционных систем: Microsoft Windows 2003, Linux и HP-UX.

Системы хранения

Подсистема хранения данных реализована на основе дисковых массивов EMC Symmetrix DMX-3, EMC CLARiiON CX600 и Sun-Hitachi SE9985, а также ленточных библиотек Sun L500 и стека HP MSL 6060.

Выбор для хранения данных систем корпоративного уровня EMC Symmetrix DMX и систем хранения среднего уровня семейства CLARiiON, как отметил Николай Плеханов, обусловлен их высокой производительностью, масштабируемостью и отказоустойчивостью, кроме того, они хорошо зарекомендовали себя в эксплуатации.

"Подавляющее большинство функций, являющихся сейчас стандартными для СХД уровня предприятия были впервые реализованы в системе Symmetrix", — подчеркнул Георгий Джаноев, руководитель направления по работе с телекоммуникационными компаниями, ЕМС Россия. "Особенно интересен передовой опыт и разработки в области локальной и удаленной репликации данных и отработке сценариев различных аварий и катастроф", — добавил он.

Гибкая архитектура DMX легко масштабируется, и конфигурация может быть точно подобрана в соответствии с требованиями заказчика. Системы хранения данных CLARiiON наряду с нужной производительностью обеспечивают высокую доступность данных и масштабируемость — от 5 до 480 жёстких дисков, причём возможно постепенное обновление аппаратного обеспечения для достижения требуемой производительности и ёмкости.

C точки зрения EMC, информация — это наиважнейший капитал любого предприятия и организации, который требует комплексного подхода к созданию инфраструктуры управления этим капиталом. Представители систем хранения данных Symmetrix DMX-4 и CLARiiON CX-3 претворяют в жизнь идеологию структурированного консолидированного хранилища данных многих бизнес-задач предприятия, с учетом потребностей к скорости доступа, уровню защиты с возможностью повторного использования и перемещения этих данных между приложениями, без остановки продуктивной работы. Предусмотрено резервное копирование информации с дисковых массивов на автоматизированные ленточные библиотеки, которое осуществляется при помощи ПО Veritas NetBackup и HP Data Protector.

Лидер сибирского телекома

В Сибирском федеральном округе (СФО) компания ОАО “Сибирьтелеком”, дочка “Связьинвеста”, предоставляет весь спектр современных услуг связи. Главным ее преимуществом на рынке связи в СФО является универсальность и развитость инфраструктуры сетей.

Компания действует на территории 5115 тыс. кв. км (30% территории России) с численностью населения порядка 20 млн. человек (14% населения России), занимает 45,2% совокупного объема телекоммуникационного рынка и является одним из ведущих провайдеров интернет-услуг (47% рынка) и операторов сотовой связи (17% рынка) в этом регионе.

SAN

Системы хранения объединены с серверами в единую открытую сеть хранения данных (SAN, Storage Area Network). Инфраструктура этой высокопроизводительной сети базируется на четырех оптических коммутаторах HP StorageWorks Edge Switch 2/32 и Brocade SW200E. К коммутаторам по протоколу FibreChannel подключаются серверы и системы хранения. Высокоскоростная (до 4 Гбит/c) сеть передачи данных обеспечивает необходимое быстродействие при доступе к данным.

Как подчеркнул г-н Гриб, очень важно то, что при построении ЦОД было реализовано отказоустойчивое решение. Все узлы SAN резервируются, серверы Sun Fire E25K и Sun Fire E6900 объединены в отказоустойчивый кластер при помощи ПО Veritas Cluster Server, а HP Superdome разделен на аппаратные домены, также объединенные в кластер посредством MC/ServiceGuard. Резервное копирование данных с дисковых массивов на автоматизированные ленточные библиотеки осуществляется при помощи ПО Veritas NetBackup и HP Data Protector.

SAN ЦОДа генеральной дирекции объединена через защищенные каналы с SAN датацентра Новосибирского филиала ОАО “Сибирьтелеком”. Такая архитектура позволяет путем резервирования информации обеспечить высокую степень доступности данных с двух технических площадок, расположенных на разных территориях в Новосибирске. Дополнительно ведется строительство ЦОДа в г. Бердск, который будет связан с основным ЦОДом высокоскоростными каналами. Одна из технических площадок уже в этом году должна будет стать полноценным резервным ЦОДом (РЦОДом), добавил он.

Кластерная технология

Как полагают в “ТехноСерв А/C”, использование кластерной платформы совершенно необходимо для такой крупной компании, как “Сибирьтелеком”. Ведь её бизнес базируется на информационных системах, для которых критичны максимальная степень готовности, отказоустойчивость и надёжность. Применение высокопроизводительных отказоустойчивых кластерных платформ как раз и обеспечивает надёжность хранения критически важной информации, минимальный риск потерь данных при сбоях; минимальное время доступа к системе и, кроме того, предоставляет возможность проведения планового обслуживания и модернизации без прерывания работы системы. Для реализации такого решения был выбран программный комплекс Veritas Cluster Server, обеспечивающий высокий уровень готовности как 64-разрядных UNIX-систем, так и 32-разрядных платформ, в том числе и с ОС Microsoft Windows. С его помощью в отказоустойчивый кластер были объединены серверы Sun.

Архитектура созданной вычислительной системы допускает масштабирование кластера за счет увеличения числа кластерных узлов, а также проведение модернизации прикладного ПО и аппаратных средств. Все эти мероприятия предполагается осуществлять без остановки работы пользователей благодаря распределению сетевых сервисов по нескольким узлам кластера.

Николай Плеханов подчеркнул, что предложенное решение построено на концепции исключения единой точки отказа SPOF (single point of failure), при которой осуществляется одновременная поддержка как системы обработки и хранения информации, так и автоматизированных систем уровня предприятия.

Анатолий Гриб сообщил, что в “Сибирьтелекоме” при организации новосибирского ЦОДа для генеральной дирекции специалисты компании накопили достаточный опыт, который позволяет создавать катастрофоустойчивые решения с разнесением компонентов вычислительного комплекса между основным датацентром и РЦОДом. Так, по его словам, “Сибирьтелеком” заканчивает проект РЦОДа, находящегося на расстоянии 40 км от основного датацентра. Подобные решения будут реализованы до конца 2007 г.

В 2007—2008 гг. работы над совершенствованием системы планируется продолжить, поскольку приходится постоянно решать возникающие проблемы, связанные с масштабированием, обновлением оборудования и ПО, повышением уровня автоматизации.