Поисковый гигант наладил сотрудничество с индийской компанией для изучения “облачных” вычислений
Yahoo и Computational Research Laboratories (сокращенно CRL — дочерняя фирма индийской Tata Sons) будут сообща развивать новую вычислительную технологию под названием “облачные вычисления” (cloud computing). Строить свою совместную работу они намерены на базе проекта распределенных вычислений Apache Hadoop с открытыми кодами.
В рамках анонсированного 24 марта соглашения CRL предоставит для исследований суперкомпьютер, входящий в первую пятерку самых мощных в мире. Он содержит больше процессоров, чем любой другой, когда-либо использовавшийся для “облачных” вычислений.
Как заявили представители компании, нынешнее соглашение является совершенно беспрецедентным по возможностям и масштабам ЭВМ. К тому же научно-исследовательские организации Индии впервые получат доступ к суперкомпьютеру. Сотрудничество между Yahoo и CRL призвано расширить опыт последней в области высокопроизводительных вычислений. Проводить же сверхресурсоемкие исследования на компьютере с 14 400 процессорами ученым поможет Yahoo, занимающая лидирующие позиции в применении Apache Hadoop.
Принадлежащий CRL суперкомпьютер под названием EKA оснащен 14 400 процессорами, памятью общей емкостью 28 Тб и дисковым пространством 140 Тб. Его пиковая производительность, измеренная по эталонному тесту LINPACK, равна 180 терафлопс (180 триллионов вычислений в секунду), а средняя в непрерывном режиме работы составляет 120 терафлопс. Для проведения исследований на EKA будет установлена Hadoop, а также ряд других приложений Yahoo с открытым кодом, предназначенных для распределенных вычислений. Планируется, в частности, использовать разработанный в стенах Yahoo Research язык параллельного программирования Pig.
Объявление о партнерстве Yahoo и CRL прозвучало накануне первой в истории Hadoop конференции, которая состоялась 25 марта в калифорнийском городе Санта-Клара (США), где расположен один из центров Yahoo. “Мы еще раз продемонстрировали свое лидерство в изучении облачных вычислений, когда на протяжении трех месяцев вместе с учеными университета Карнеги-Меллон работали на суперкомпьютере с четырьмя тысячами процессоров, — заявил Рон Брахман, вице-президент Yahoo, курирующий отношения с научными кругами. — Такой суперкомпьютерный кластер позволил исследователями анализировать миллионы Web-документов и обрабатывать на два порядка больше данных, чем когда-либо раньше”.
В ноябре Yahoo пообещала первой развернуть программу на базе открытых кодов, специально нацеленную на исследования и разработки системного ПО для распределенных вычислений. Такая программа по замыслу руководства призвана укрепить лидирующее положение фирмы в использовании Hadoop для модернизации и оценки системного ПО на суперкомпьютере Yahoo с четырьмя тысячами процессоров. Как утверждают представители фирмы, на тот момент именно их компании принадлежал основной вклад в создание и развитие Hadoop — распределенной файловой системы и среды параллельного выполнения с открытыми кодами, позволяющей обрабатывать колоссальные объемы данных.
Являясь ключевой фигурой ноябрьской программы, Yahoo сразу пообещала предоставить Hadoop научным вычислительным центрам суперкомпьютерного класса. Суперкомпьютерный кластер этой фирмы носит название М45, унаследованное от известных в прошлом кластеров типа “открытая звезда”. Он содержит 4000 процессоров, 3 Тб памяти и 1,5 Пб дискового пространства, обеспечивая пиковую производительность свыше 27 терафлопс. Такие параметры выводят М45 в число пятидесяти самых быстрых суперкомпьютеров мира. Машина отлажена для запуска последней версии Hadoop и другого самого современного распределенного ПО, поддерживаемого Yahoo. Как сообщили в фирме, она построена на базе обычных аппаратных средств, однако название компании-производителя не указывается.
Зачинателем проекта Hadoop стал Дуг Каттинг, который сейчас возглавляет работы по его развитию в Yahoo. Язык Pig, по словам Брахмана, был создан группой ученых Yahoo Research в составе Рави Кумара, Кристофера Олстона, Бена Рида, Уткарша Шриваставы и Эндрю Томкинса.
Прошлым декабрем Yahoo объявила, что станет платиновым спонсором Apache Foundation. Она поддерживает ответвления ASF, выделившиеся в ходе работ над проектами Apache HTTP Server и Lucene. А некоторые сотрудники команды разработчиков Yahoo, как отмечают в компании, давно и активно участвуют в разработке кодов Apache Hadoop — платформы с открытым кодом, позволяющей эффективно обрабатывать большие объемы данных на кластерах из обычных компьютеров.
