На прошедшей недавно конференции Strata + Hadoop World 2014 ведущие представители мира больших данных сделали ряд объявлений, касающихся Apache Hadoop и других важнейших технологий, относящихся к большим данным и аналитике.

Производитель ПО для бизнес-аналитики Tableau Software произвел фурор, сообщив о расширенной поддержке технологий Hadoop совместно с новыми партнерами, среди которых представлены IBM и Amazon Web Services. Например, Tableau раскрыла новые возможности прямой связи с продуктом IBM InfoSphere BigInsights на базе Hadoop.

Кроме того, компания Tableau объявила о выходе бета-релиза непосредственного коннектора для Amazon Web Services Elastic MapReduce (AWS) и Spark SQL и о том, что примет участие в программе компании Databricks «Сертифицировано для Spark». Эти события в сочетании с недавним выпуском непосредственного коннектора Tableau для платформы СУБД MarkLogic Enterprise NoSQL еще больше усиливают позиции Tableau в сфере больших данных.

«Tableau помогает развивать сложившуюся вокруг Hadoop систему, в которой быстро появляются инновации, — сказал вице-президент Tableau Software по управлению продуктами Дэн Джуэтт. — Объединение наших усилий с технологическими партнерами в области Hadoop и NoSQL и наше стремление поддержать сообщество разработчиков открытого исходного кода для Apache, все это определяется нашей задачей снабдить всех и каждого богатыми возможностями визуальной аналитики, даже тех, кто имеет дело с миллиардами строк данных».

Создание в Tableau Software непосредственных коннекторов с Amazon Elastic MapReduce и IBM InfoSphere BigInsights служит дополнением к осуществленной ранее интеграции с MapR, Cloudera, Hortonworks и Pivotal. Tableau стремится предоставить клиентам широкий выбор возможностей для использования всей мощи Hadoop.

Между тем, компания Hortonworks анонсировала версию 2.2 Hortonworks Data Platform (HDP) — корпоративной платформы для работы с данными с Hadoop YARN в качестве главного элемента архитектуры.

Всего HDP 2.2 включает более 100 новых и усовершенствованных функций, которые интегрируются с YARN и позволяют предприятиям использовать пакетную интерактивную обработку в реальном времени для взаимодействия с конкретным набором данных, хранящимся в Hadoop.

«HDP 2.2 отражает огромное количество инноваций, появившихся в сообществе Apache Hadoop за последние шесть месяцев, — сказал вице-президент Hortonworks по управлению продуктами Тим Холл. — Мы прислушивались к нашим клиентам, неустанно трудились над различными проектами в рамках Apache с целью разработки сотен новых функций и неизменно предоставляли сообществу всю нашу технологию и все новое, что появлялось в наших продуктах. В результате HDP 2.2 придает платформе огромное количество предназначенных для предприятий функций, отвечая предъявляемым предприятиями требованиям».

К главным новым функциям HDP 2.2 относятся новые и улучшенные движки для YARN, такие как корпоративный Spark on YARN для изучения данных и Apache Kafka для обработки данных, поступающих из Интернета вещей. Имеются также корпоративный Stinger.next (SQL-интерфейс к Hadoop с его огромным объемом данных) и Apache Argus (централизованное управление безопасностью и принудительное осуществление политик). Для обеспечения непрерывности бизнеса предусмотрено автоматическое резервное копирование кластера в облака Microsoft Azure и Amazon S3.

«На протяжении последних лет Microsoft тесно сотрудничала с Hortonworks, внося вклад в работу сообщества Hadoop и включая Hadoop в Microsoft Azure с помощью HDInsight и Windows Server with HDP, — заявил корпоративный вице-президент подразделения Microsoft Data Platform Т. К. „Ранга“ Рангараян. — Появление HDP 2.2 открывает перед клиентами еще больше возможностей развертывания, в том числе автоматическую репликацию хранящихся у них данных в облако Azure или сборку кластера HDP в виде виртуальной машины с несколькими узлами».

Ознакомительную версию HDP 2.2 можно загрузить с сайта Hortonworks (http://hortonworks.com/hdp/). В ноябре 2014 г. она станет доступна всем клиентам.

«Наш альянс с Hortonworks основан на нашем общем убеждении, что инновации с открытым исходным кодом — это лучший способ сделать Hadoop доступным для предприятий, — заявил директор по стратегии подразделения Red Hat Storage and Big Data Грег Клеймен. — Благодаря тесной интеграции решений Red Hat с Hortonworks Data Platform 2.2 мы можем предложить нашим клиентам скорость и гибкость при создании открытых гибридных облаков для запуска нового жизненного цикла их данных на Hadoop».

Cloudera и Red Hat также выступили на конференции с анонсом. Они объявили о создании альянса с целью создания совместных корпоративных программных решений, включающих интеграцию данных и инструменты разработки приложений, а также платформ данных.

В рамках этого альянса две компании планируют совместно создавать решения для корпоративных клиентов, сотрудничая в области написания документации, маркетинга и оказания технической поддержки. Cloudera и Red Hat будут вместе помогать корпоративным клиентам в развертывании решений для больших данных, в наибольшей степени удовлетворяющих их потребностям, — на их собственных площадках, в гибридных или частных облаках.

«Благодаря быстрому массовому распространению Hadoop стал ядром корпоративного центра обработки данных, для успеха которого требуются гибкая модель развертывания, надежная безопасность, управление и гибкие инструменты разработки, — заявил вице-президент Cloudera по бизнесу и корпоративному развитию Тим Стивенс. — Наш альянс с Red Hat позволяет развертывать задачи для Hadoop и управлять ими столь же уверенно, как и другие важнейшие задачи, чтобы вызвать на предприятиях новую волну инноваций на базе больших данных».

Совместные решения Cloudera и Red Hat предоставляют предприятиям набор открытых технологий для модернизации их традиционных архитектур управления данными и развертывания Hadoop в качестве ядра инфраструктуры больших данных. Две компании планируют совместно разрабатывать облачные платформы данных и помогать предприятиям переходить к использованию открытых гибридных облаков с помощью платформы Red Hat Enterprise Linux OpenStack Platform и проекта Sahara, интегрированных с Cloudera Director и Cloudera Enterprise, и всем этим можно будет управлять с помощью Red Hat CloudForms.

Они работают также над платформами данных на основе интеграции Red Hat Enterprise Linux, Red Hat Storage Server и поддержки OpenJDK с Cloudera Enterprise, Cloudera Manager и Cloudera Navigator. Они предоставляют, кроме того, инструменты интеграции данных и разработки приложений в виде ПО промежуточного слоя Red Hat JBoss и Red Hat OpenShift в сочетании с Cloudera Enterprise. Последний продукт использует библиотеки Cloudera Kite и коннекторы Cloudera Impala и Apache Hive.

«Red Hat считает, что жизненный цикл данных на предприятиях быстро меняется и требует открытого, гибкого подхода к инновациям в ЦОДах, — заявил вице-президент Red Hat по глобальным стратегическим альянсам Скотт Массон. — Hadoop и OpenStack являются важнейшими элементами этих революционных изменений. Клиенты Red Hat хотят иметь возможность выбирать из открытых программных решений для больших данных и гибридных облаков. Это помогло бы им быстрее и проще трансформировать инфраструктуру и приложения. Объявляя о сотрудничестве, Red Hat и Cloudera намерены предоставить клиентам открытые модульные технологии для быстрого извлечения знаний из данных, оптимизации сделанных инвестиций в инфраструктуру платформ и снижения общих затрат на управление платформами данных».