IBM анонсировала две новые технологии, которые помогут предприятиям в обработке больших данных. Они позволят сделать анализ больших объемов данных проще, быстрее и экономичнее. 3 апреля на мероприятии в своем исследовательском центре Алмаден в г. Сан-Хосе, шт. Калифорния, IBM представила решения BLU Acceleration и IBM PureData System for Hadoop.

BLU Acceleration является результатом труда сотен разработчиков и исследователей в лабораториях IBM по всему миру. Это сочетание нескольких технических приемов, которые резко повышают производительность аналитической работы и упрощают администрирование, заявляет IBM. BLU Acceleration позволяет пользователям гораздо быстрее получить доступ к важнейшей информации, повышая качество принимаемых решений.

Данное ПО расширяет возможности традиционных систем, работающих в оперативной памяти (которые позволяют загружать данные в ОЗУ вместо записи на жесткий диск, что увеличивает производительность обработки). Характерная для таких систем производительность обеспечивается даже в том случае, когда объем наборов данных превышает размер ОЗУ. Во время тестирования некоторые запросы типовых аналитических задач выполнялись более чем в 1000 раз быстрее при использовании всех инноваций BLU Acceleration, сообщила IBM.

К составляющим BLU Acceleration инновациям относятся “пропуск данных”, что позволяет “перепрыгивать” через данные, в анализе которых нет необходимости (например, если имеется дублирующаяся информация), возможность параллельного анализа данных с использованием нескольких процессоров и расширенные возможности анализа данных прозрачно для приложения без необходимости создавать специальный уровень моделирования данных. Еще одна инновация BLU Acceleration именуется “действенное сжатие”, при котором уже не нужно разархивировать данные, чтобы их анализировать.

BNSF Railway Company, один из крупнейших в Северной Америке железнодорожных грузоперевозчиков, применяет IBM BLU Acceleration, чтобы быстрее разобраться с огромным объемом данных, поступающих с 1700 серверов, отслеживающих выполнение программ технического обслуживания, погоду, составление графиков, состояние складских запасов, безопасность, поставки и многое другое. BNSF ежедневно использует свыше 1400 поездов, которые проходят 32,5 тыс. миль в 28 штатах США и двух канадских провинциях.

“BNSF перевозит многие продукты и материалы, которыми мы ежедневно пользуемся в Америке и во всем мире, поэтому для нашей организации крайне важно отслеживать эти поставки, — сказано в заявлении архитектора решений BNSF на основе баз данных Кента Коллинза. — Благодаря совместной работе с IBM мы теперь охватываем большие данные нашей организации всей мощью аналитики. С помощью новой технологии мы решаем задачи быстрее, чем когда-либо прежде. Например, выполнение одного из запросов ускорилось более чем в 100 раз. А потребность в устройствах хранения сократилась примерно в 10 раз. Наибольшее впечатление произвела на нас среди прочего простота BLU Acceleration. Мы просто загружаем данные и выполняем запросы”.

“Большие данные означают использование всех данных в контексте в точке соприкосновения с ними, — говорится в заявлении главного менеджера подразделения IBM Information Management Боба Пиччано. — Благодаря нашим инновациям теперь каждая организация может задействовать новые возможности повышения темпов работы и расширения исследований для улучшения результатов бизнеса”.

Второй новый продукт IBM PureData System for Hadoop призван упростить и ускорить развертывание Hadoop на предприятиях. Hadoop — это программная среда с открытым исходным кодом для организации и анализа больших объемов структурированных и неструктурированных данных, таких как сообщения в социальных сетях, цифровые изображения и видео, онлайновые транзакции и данные о местонахождении сотовых телефонов.

Новая система способна сократить с недель до минут срок освоения организациями технологии корпоративного класса Hadoop с ее простыми в использовании инструментами анализа и визуализации, которые могут понадобиться как бизнес-аналитикам, так и специалистам по данным. Помимо этого она предоставляет расширенный инструментарий для работы с большими данными, позволяющий осуществлять мониторинг, разработку и интеграцию с многими другими корпоративными системами.

Выпуск IBM PureData System for Hadoop представляет собой крупный шаг в осуществлении общей стратегии IBM, нацеленной на создание семейства систем со встроенными экспертными возможностями, в которых будет использован накапливавшийся десятилетиями опыт корпорации по снижению стоимости и сложности информационных технологий. Эта новая система включает продукт IBM InfoSphere BigInsights, который позволяет компаниям экономично управлять данными, анализировать их и добавлять новые функции администрирования, управления потоками работ, выделения ресурсов и обеспечения безопасности.

Компания Kelley Blue Book, предоставляющая информацию о новых и подержанных автомашинах, намерена проверить способность PureData System for Hadoop анализировать перемещения посетителей по ее веб-сайту. Компания сможет изучать эту информацию, включая данные из социальных сетей, и видеть, какие темы интересуют посетителей больше всего. Например, цены на подержанные и новые машины, сообщения об авариях, отзыв машин производителями из-за дефектов, гарантийные обязательства, мнения покупателей.

“Kelley Blue Book собирает самые разные данные из многочисленных источников, поэтому эффективное управление ими имеет важнейшее значение для роста нашего бизнеса, — говорится в заявлении вице-президента Kelley Blue Book по технологии и сбору данных Стива Чоу. — Мы видим множество возможностей использования продукта IBM в качестве стратегической платформы для расширения нашей аналитической экосистемы и извлечения пользы из социальных сетей, текстовых и машинных данных для получения более полного представления о наших потребителях и клиентах, что позволит улучшить работу сайта KBB.com”.

Если говорить в целом, то IBM Big Data Platform объединяет традиционные технологии хранилищ данных с новыми приемами обработки больших данных, такими как Hadoop, потоковые вычисления, изучение данных, аналитика и интеграция с корпоративными системами, создавая целостное решение этих важнейших задач.

IBM анонсировала также следующие версии своих решений проблемы больших данных:

  • новую версию Hadoop корпоративного класса InfoSphere BigInsights. Она упрощает разработку приложений с использованием имеющихся навыков работы с SQL, обеспечивает соблюдение требований регуляторов, безопасности и доступности, которые так важны для корпоративных приложений. BigInsights предоставляет способы ввода информации через свободную загрузку, с помощью корпоративного ПО, а теперь и через интегрированную экспертную систему IBM PureData System for Hadoop.
  • новую версия InfoSphere Streams — уникального ПО “потоковых вычислений”, позволяющего в реальном времени анализировать большие объемы циркулирующих данных. В ней повышена производительность, упрощены разработка и развертывание приложений.
  • новую версию Informix, включающую ускоритель TimeSeries Acceleration для подготовки отчетов о текущих операциях и анализа данных, поступающих от интеллектуальных счетчиков электроэнергии и сенсоров.

Все эти продукты будут доступны во II квартале 2013 г. за исключением PureData System for Hadoop, поставки которого клиентам начнутся во второй половине 2013 г