ХРАНЕНИЕ ДАННЫХ

Кэрон Карлсон

Ни одна из современных технологий не позволяет точно предсказывать время подводных землетрясений и степень разрушений, которые они могут вызвать. Однако суперкомпьютеры и системы хранения информации уже начинают использоваться в процессе ликвидации последствий недавнего катастрофического цунами в Азии. Они применяются при обработке моделей состояния морской и воздушной среды.

Флотский центр количественной метеорологии и океанографии ВМС США (Fleet Numerical Meteorology and Oceanography Center, FNMOC) пользуется суперкомпьютерами и технологией хранения компании Silicon Graphics (SGI). Помощь пострадавшим от цунами осуществляет министерство обороны. Центр оказывает ему поддержку, следя за развитием региональной модели предсказания погоды с высоким разрешением, названной COAMPS (Coupled Ocean/Atmosphere Mesoscale Prediction System - система предсказания состояния пары "океан - атмосфера" в мезомасштабе). Эта модель прогнозирует условия, которые будут складываться у побережья Индонезии, включая остров Суматра.

Кроме того, чтобы помочь спасательным самолетам выбрать оптимальный путь в регион, центр использует модель авиационных маршрутов.

Применяемые в FNMOC программы моделирования опираются на данные наблюдений, которые ведутся судами, самолетами, наземными станциями и спутниками и охватывают всю планету. Ежедневно в центр поступает в среднем 6 млн. результатов наблюдений. На основе этих сведений аналитики строят около 500 тыс. графиков и прогнозов атмосферных и океанических условий, которые затем передаются на военные объекты, разбросанные по всему миру.

"Мы ежедневно обрабатываем с помощью нашей системы примерно 1 Тб данных. Простои для нас совершенно непозволительны", - заявил Майк Кленси, исполняющий обязанности технического директора FNMOC (Монтерей, шт. Калифорния). - У нас есть заказчики, которым важно получать результаты наших исследований своевременно".

Дважды в день FNMOC выдает глобальные прогнозы погоды

Центр работает 24 ч в сутки, 365 дней в году и каждые 12 ч выдает глобальный прогноз погоды. Помимо обеспечения данными военных он предоставляет значительную часть этой информации для широкого использования через Национальную службу погоды (National Weather Service), специализированный телевизионный канал Weather Channel и свой веб-сайт.

С 2001 г. центр применяет серверы, суперкомпьютеры и технологию хранения производства SGI. Сегодня его сеть состоит из двух компьютеров Origin 3800, двух Origin 3900 и двух 12-процессорных систем Origin. Все они объединены в кластеры, поскольку работа FNMOC должна вестись непрерывно, а результаты одной работы часто служат исходными данными для другой, сказал Кленси. Взаимодействие компьютеров обеспечивает разделяемая файловая система SGI, именуемая InfiniteStorage Shared Filesystem CXFS. Она позволяет передавать данные из одной операционной системы в другую без репликации.

"Управлять нашей работой очень сложно. Целый ряд задач должен решаться последовательно, - говорит Кленси. - Все они тесно взаимосвязаны".

С появлением новых точек сбора данных, особенно новых спутников, объем данных растет. Создаваемая Национальная система спутников экологического мониторинга с полярной орбитой (National Polar Orbiting Environmental Satellite System), по словам Кленси, значительно увеличит поток информации. Наряду с ростом объема обрабатываемых данных совершенствуются и сами компьютерные модели, повышаются их степень разрешения и точность. Это требует дополнительной вычислительной мощности и средств хранения.

В 2001 г. центр достиг уровня постоянной (не пиковой) производительности в 100 млрд. операций с плавающей запятой в секунду (GFLOPS). План предусматривал выход на уровень 100 GFLOPS в 2003 г. и 400 GFLOPS - в 2004-м. "Уже сейчас с точки зрения суперкомпьютерных вычислений мы имеем общую пиковую производительность примерно в 4,4 TFlops (триллионов операций с плавающей запятой в секунду)", - сказал Кленси. Он пояснил, что в этих расчетах учитывается мощность компьютеров производства IBM и SGI, и добавил: "К концу десятилетия мы предполагаем достичь примерно 18 TFlops".

Дополнительные сложности для хранения и совместного использования данных связаны с тем, что центр обрабатывает как открытую, так и закрытую информацию. Сведения, поступающие с военных кораблей или самолетов, засекречены, поскольку могут выдать места их расположения. Эти данные поступают в многоуровневую систему безопасности SGI Trusted Irix, где они размечаются и сортируются. Веб-сайт FNMOC предоставляет доступ к информации двух видов - предназначенной для всех желающих и адресованной только военным.

Чтобы иметь возможность управлять несколькими категориями данных на протяжении длительного времени, центр использует иерархическую систему хранения. Она обеспечивает прозрачный доступ к данным с помощью различных технологий в зависимости от возраста информации. Сеть хранения данных (SAN) с применением Fibre Channel включает высокопроизводительную дисковую систему с доступом в режиме реального времени и автоматизированную библиотеку на магнитных лентах с коротким временем доступа. Сама свежая информация хранится на дисках с доступом в режиме реального времени (это всегда десятки терабайтов), а более старая переносится на магнитные ленты. По прошествии примерно 30 дней данные помещаются в территориально удаленное долговременное хранилище.

Такие пользователи, как FNMOC, имеющие дело с самыми передовыми технологиями, побудили SGI создать многоуровневую систему хранения, заявил Габриель Бронер, старший вице-президент SGI, отвечающий за разработку систем хранения и программного обеспечения. Помимо военных все более гибкие системы хранения необходимы также компаниям нефтяной, газовой и энергетической промышленности.

"В центре погоды мне говорят, что им нужно хранить информацию за последние семь дней в высокопроизводительной сети Fibre Channel, а за последние 30 дней - на дисках SATA (Serial ATA)", - сказал Бронер.

Технология SGI применяется повсеместно. НАСА использовала ее, когда пыталась разработать систему быстрого моделирования аварии космического "челнока". В Голливуде с помощью этой системы делают цифровые фильмы. "Я постоянно задаю один и тот же вопрос: кто следующий? - говорит Бронер. - Во всех сферах человеческой деятельности наблюдается взрывообразный рост объема данных. Обычно потребности наших клиентов в информации удваиваются каждые девять месяцев".

Недавно клиентом SGI стало министерство внутренней безопасности. Оно применяет систему InfiniteStorage и суперкомпьютеры SGI Altix в Центре воздушных и морских операций (Air Marine Operations Center), расположенном в г. Риверсайде (шт. Калифорния). Здесь собирают данные с военных и гражданских радаров, в частности разведывательных самолетов. Его задача заключается в защите воздушного пространства США и стран Карибского бассейна.

Центр воздушных и морских операций начал использовать технологию SGI почти десять лет назад. Недавно он ее модернизировал, чтобы иметь возможность обрабатывать растущий объем данных, поступающих с новых радаров. Об этом сообщил Джим Дарет, помощник директора по управлению системами. Модернизация позволила втрое увеличить объемы приема данных с радаров и значительно нарастить потенциал хранения. Благодаря ей, по словам Дарета, их центр смог перейти от гигабайтов к терабайтам.