Компания LexisNexis объявила о вступлении в Linux Foundation, некоммерческую организацию, курирующую разработки, связанные с развитием Linux, сообщает портал opennet.
Одновременно анонсировано решение по открытию кода проекта HPCC (High Performance Computing Cluster), предназначенного для использования в кластерах для обработки большого объема данных, измеряемых в петабайтах.
Система HPCC написана на языке C++ и конкурирует с написанной на языке Java платформой Hadoop, позволяя, по заявлению LexisNexis, достичь значительно более высокой производительности. В тестовой конфигурации HPCC-кластер из 400 узлов затратил на сортировку 1 Тб данных 102 с и выполнил комплексное тестовое задание за 6 мин. 27 с. На том же оборудовании на Hadoop-кластере тот же тест был выполнен за 25 мин. 28 с, что в 3,95 раз медленнее, чем результат, показанный на HPCC.
Компания Yahoo, используя Hadoop-кластер из 1460 узлов, смогла выполнить сортировку 1 Тб данных за 62 с, а 100 Тб на кластере из 3452 узлов — за 173 мин. (на сортировку 1 Пб ушло 975 мин.).
HPCC позволяет хранить и обрабатывать в распределенной кластерной инфраструктуре огромные массивы данных, благодаря массовой параллельной обработке обеспечивая производительность в миллиарды операций в секунду.
Код HPCC в настоящий момент готовится к открытию под лицензией GNU Affero GPL v.3 и, как ожидается, будет доступен в течение нескольких недель.
