Вторая версия популярной свободной платформы распределённых вычислений Hadoop появилась осенью 2013 г. Её качественное отличие от предыдущих выпусков заключается в появлении технологии YARN (универсальной модели MapReduce 2.0), поддерживающей теперь не только парадигму map/reduce при реализации вычислительных алгоритмов, но и любые сторонние интерфейсы — Open MPI, Spark, ряд систем фонда Apache и т. д. Кроме того, YARN увеличила масштабируемость Hadoop до петабайтов.
Корпоративные дистрибутивы Hadoop создаёт компания Hortonworks. Её Data Platform (HDP) исходно поддерживала Hadoop 2.0 для Linux, и вот наконец 21 января 2014 г. объявлено о выходе Hortonworks Data Platform 2.0 для Windows. Продукт сертифицирован для Windows Server 2008 R2/2012/2012 R2. Разработчикам доступен удобный Windows-инсталлятор для развёртывания Hadoop 2.0 на одном компьютере. Имеется также “песочница”, позволяющая эмулировать работу кластера из нескольких узлов. Теперь ждём от Microsoft обновления её системы HDInsight — реализации Hadoop для Azure, которая основана на кодовой базе HDP.
В рамках выхода HDP 2.0 для Windows компания Hortonworks сообщила и об обновлении NoSQL СУБД Apache HBase до версии 0.96 (теперь, в частности, можно делать слепки БД). Важно, что также начата вторая фаза проекта Stinger — ускорителя для движка Apache Hive, поддерживающего SQL-запросы к Hadoop. На фоне недавней публикации фирмой Cloudera результатов тестирования аналогичного движка Impala, опередившего Hive в десятки раз, данный анонс возможности ускорения Hive в 100 раз на петабайтных объёмах весьма актуален.
