В начале 2007 г. перед новой московской студией Тимура Бекмамбетова (кинокомпания «Базелевс»), создателя обоих “Дозоров” и «Иронии судьбы. Продолжение», встали сразу две взаимосвязанные задачи. С одной стороны, студии требовалась техника для обработки и хранения больших массивов видео и создания спецэффектов, с другой — специальное оборудование для внутренней ИТ-инфраструктуры. Обе задачи удалось решить с помощью компании Kraftway, которая поставила всю необходимую аппаратуру.

Топология системы

“Изначально, — отмечает технический директор кинокомпании «Базелевс» Дмитрий Макаров, — никакого тендера для поставщика оборудования не проводилось. Учитывая специфику наших задач, мы предпочли выбрать партнера с опорой на рекомендации и обратились в российское представительство Intel, где нам и порекомендовали Kraftway. Одно из основных достоинств этой компании состоит в том, что она может поставить любое требуемое оборудование и четко соблюдает сроки. Как раз в ту пору для очередного проекта “Особо опасен” нам надо было создать с помощью компьютерных технологий более тысячи фрагментов разной продолжительности, причем в очень жесткие сроки, у нас было всего три-четыре месяца на монтаж и тестирование оборудования. И благодаря интегратору нам это удалось”.

Комплект оборудования для кинокомпании «Базелевс» состоял из нескольких основных частей. Во-первых, для подготовки спецэффектов, создания компьютерных персонажей, цифровой обработки видео и рендеринга был изготовлен и введен в эксплуатацию 32-узловой высокопроизводительный кластерный комплекс (серверная ферма) на базе серверов Kraftway Express ISP. Каждое из этих производительных устройств (модель ES12) имело по два процессора Intel Xeon 5320 Quad Core с рабочей частотой 1,86 ГГц, оперативную память в 8 Гб и жесткий диск на 160 Гб.

Во-вторых, проект включал в себя поставку пользовательского оборудования из 15 ноутбуков различных моделей и 50 мощных графических станций Kraftway Credo для постоянных сотрудников компании, которые занимаются работой с фрагментами кинокартин непосредственно в студии. Графические станции оснащены процессорами Intel Core2Duo E6700, оперативной памятью в 4 Гб, двумя жесткими дисками емкостью 250 Гб каждый и новейшими видеокартами GeForce 8800GTS для обработки видеосцен.

В-третьих, устанавливалось и дополнительное оборудование — два хранилища данных Kraftway-Hitachi общей емкостью более 40 Тб, а также ленточная роботизированная библиотека Tandberg с 24 катриджами. Отметим, что архивирование резервное копирование рабочей информации на студии проходит полностью в автоматическом режиме с периодом 24 ч, при этом средний объем ежедневно архивируемых данных составляет 500 Гб.

Кроме того, было поставлено активное сетевое оборудование 3Сom и пассивное от AESP и APC, а также, для создания внутренней ИТ-инфраструктуры студии, шесть серверов Kraftway (модели EL18 и ES24 в различной комплектации). В рамках проекта была установлена и Wi-Fi-сеть из нескольких маршрутизаторов, поддерживающих протокол 802.11g, и инсталлировано решение по обеспечению бесперебойного электропитания студии: три ИБП компании APC, из которых два поддерживают работоспособность серверной фермы и один — системы хранения данных. Таким образом, ядро рабочей сети обеспечено электропитанием на период более двух часов при полной нагрузке, а ферма — на час. После перехода на резервные мощности система автоматически начинает отключать вторичные компоненты и делать резервное копирование данных во избежание их потери.

Отметим, что общая стоимость оборудования, переданного студии Тимура Бекмамбетова, по информации генерального директора компании Kraftway Алексея Кравцова, превысила миллион долларов.

Поскольку студия должна регулярно обмениваться готовыми материалами с заказчиком из Лос-Анджелеса и собирать данные от аутсорсинговых исполнителей в России, был создан коммуникационный узел и к нему подведены каналы связи. По каналу с гарантированной скоростью 30 Мбит/с (провайдер -- “Корбина-Телеком”) с помощью специального оборудования отработанные за рабочий день данные загружаются на удаленный FTP-сервер (специальный SmartJog-сервер) в США (средний их объем составляет 1 Тб в месяц). Для взаимодействия с российскими компаниями и специалистами, работающими на аутсорсинге, по словам Дмитрия Макарова, применена аналогичная схема с той разницей, что загрузка подготовленных для аутсорсеров эпизодов происходит на специальный FTP-сервер, отделенный от внутренней сети Bazelevs Postproduction (отдел кинокомпании, который занимается непосредственно графикой, монтажом и т.д.) брандмауэром. Отметим, что над фильмом работает несколько групп специалистов: все, что касается внешнего вида знаменитых актеров и сложных спецэффектов (к примеру, взрывы или разбивание стекла), рассчитывается только на территории студии — выход таких материалов за ее пределы запрещен. Более традиционные сцены и не такие важные эпизоды прорабатываются на стороне — данные могут выдаваться и на внешних жестких дисках.

Мотивация на внедрение

Весь монтаж серверной комнаты и каналов связи занял около четырех месяцев. На первом этапе, за 23 дня, на готовой площадке были смонтированы шкафы, коммутаторы, источники бесперебойного питания, подключены точки беспроводной связи. Одновременно устанавливались серверы внутренней ИТ-структуры студии и система хранения данных. А чуть раньше, за одну неделю были установлены рабочие станции. Как отмечает Александр Дорошенко, начальник отдела технического консультирования компании Kraftway, буквально за пару дней создан эталонный набор ПО и на пользовательское оборудование, вводимое в строй, установлены необходимые для работы программные пакеты непосредственно на производстве Kraftway при изготовлении самих рабочих станций.

И, наконец, на третьем этапе за четыре недели были смонтированы и введены в эксплуатацию все компоненты серверной фермы. Временной разрыв между монтажом базового оборудования и фермы объясняется тем фактом, что 32 узла фермы содержали новые четырехъядерные процессоры Xeon, которые тогда были только выведены на рынок компанией Intel. По согласованию с российским представительством корпорации они были заказаны для производства целевым образом и поставлены в Россию одновременно с началом массовых продаж на мировом рынке.

Самым сложным моментом в монтаже оборудования, вспоминает технический директор кинокомпании «Базелевс», оказалась установка систем бесперебойного питания: оборудование APC было настолько тяжелым, что шкафы со смонтированными ИБП и дополнительными батареями рисковали более чем вдвое превысить допустимую по плану БТИ нагрузку на пол. В итоге нам пришлось устанавливать ИБП отдельно и решать нетривиальную проблему подвода электропитания к шкафам с оборудованием. Для монтажа в серверной комнате оборудование APC пришлось разбирать на составные части, в собранном виде элементы системы весили более сотни килограмм.

Отдельная проблема возникла и с охлаждением системы: учитывая небольшую площадь серверной комнаты (2,5×3,5 м), пришлось установить два мощных кондиционера, каждый из которых способен в одиночку охлаждать оборудование. На случай критических ситуаций (при перегреве оборудования или падении напряжения) администратору системы отправляются SMS-сообщения и электронные письма. Удивительно легко удалось решить вопрос с электропитанием для этой “прожорливой” системы, вспоминает Дмитрий Макаров. Необходимые 100 кВт были обеспечены владельцем здания в сжатые сроки. “Возможно, помог тот факт, — говорит он, — что офис студии находится на территории бывшего завода пластиковых конструкций, предприятия довольно энергоемкого. К слову, за полгода эксплуатации серверная ферма потребила 200 МВт•ч энергии”.

Основной эффект от внедрения, рассказывает Дмитрий Макаров, — это скорость работы нового решения, которая как минимум в четыре раза превосходит быстродействие прежнего оборудования, а также удобная система управления машинным временем. К примеру, задачи на ночную работу в ферму закладываются под конец рабочего дня, причем администратор и супервайзеры рабочих групп системы определяют приоритеты в зависимости от производственного графика. Вне его идут только переделки неудачно сделанных сюжетов (не понравились заказчику) или новые эпизоды, которые появились в результате модификации сценария. Днем ферма работает в многозадачном режиме — специалисты по компьютерной графике могут оперативно отдать на “обсчет” данные для своих локальных задач: на каждый запрос ферма задействует максимально пять узлов системы с тем, чтобы, с одной стороны, как можно быстрее решить поставленную задачу, а с другой — обеспечить оперативными расчетами наибольшее количество рабочих групп.

Важный эффект от внедрения — высокая степень автоматизации всех рабочих процессов с серверной фермой, говорит Дмитрий Макаров, благодаря чему системой может управлять группа всего из трех человек.

В будущем, отмечает Александр Дорошенко, система легко может быть улучшена. К примеру, можно оперативно увеличить производительность файлового сервера, расширить хранилище. А для увеличения производительности — нарастить количество серверов фермы, причем без каких-либо изменений в инфраструктуре комплекса: всё оборудование единообразное, и в данном случае необходимо лишь добавить новые модули.

Решение в том виде, как оно есть, на данный момент подходит только кинокомпании «Базелевс», говорит Александр Дорошенко, поскольку именно такую компоновку вряд ли кому-то удастся использовать для других задач. Если же отсюда убрать три сервера Kraftway Express Lite модели EL18, уверен он, то получится некий специфичный продукт, очень напоминающий стандартный HPC-кластер (High Performance Computing), но не для всего спектра задач HPC, а только для тех, где отдельные цепочки операций не требуют связи друг с другом при обсчете данных (например, нечто похожее на системы распределенных вычислений SETI@home, Folding@Home, Rosetta@Home и TSC@home).