GridGain Systems, компания-разработчик корпоративных решений для переноса вычислений в оперативную память на базе Apache Ignite, объявила о выпуске GridGain Professional Edition 2.4. Это корпоративная версия Apache Ignite 2.4 с всесторонней поддержкой от GridGain Systems. В новую версию добавлен фреймворк для непрерывного обучения, включающий в себя машинное обучение и многослойный перцептрон (нейронную сеть, которая позволяет компаниям запускать алгоритмы машинного и глубокого обучения на петабайтах операционных данных в режиме реального времени). Компании могут создавать и непрерывно обновлять модели — с огромной скоростью, которую обеспечивают вычисления в оперативной памяти, а также с возможностью горизонтального масштабирования. GridGain Professional Edition 2.4 также позволяет увеличить эффективность работы Apache Spark благодаря API для фреймов данных Spark (добавлен к ранее существовавшей поддержке RDD в Spark).

GridGain Professional Edition 2.4 — это первая версия, которая полностью поддерживает интегрированное машинное обучение и многослойный перцептрон Apache Ignite. Таким образом, непрерывное машинное/глубокое обучение будет напрямую доступно в GridGain. Оптимизируя библиотеки машинного обучения для массово-параллельных вычислений, новая версия может значительно ускорить машинное обучение на больших объемах данных. Обработка данных напрямую в кластере GridGain позволяет обеспечить непрерывный процесс обучения: больше не нужно перемещать транзакционные данные в отдельную базу перед обучением модели. Результат — обучение в реальном времени, а также непрерывное обучение с меньшей сложностью и сниженными затратами по сравнению с традиционными подходами.

Новый фреймворк непрерывного обучения GridGain — это структурный элемент для внутрипроцессных приложений, использующих гибридную транзакционно-аналитическую обработку данных (HTAP). В таких приложениях информационная модель постоянно обучается на основе входящих данных. Благодаря внутрипроцессным HTAP-вычислениям приложения нового поколения могут пользоваться преимуществами обучения в реальном времени. Различные бизнес-приложения смогут принимать более эффективные решения в реальном времени — предотвращать мошенничество, давать рекомендации в сфере электронной коммерции, одобрять кредиты, управлять логистикой и обслуживанием транспортных систем.

Теперь GridGain может использоваться для хранения и управления фреймами данных Spark. Поддержка фреймов данных расширяет поддержку Spark, которая и ранее была наиболее полной среди in-memory платформ. GridGain по-прежнему включает в себя GridGain RDD API для доступа к данным GridGain как к изменяемым RDD, а также файловую систему Ignite (IGFS), которая позволяет использовать GridGain как in-memory реализацию распределенной файловой системы Hadoop (HDFS).

Spark может использоваться для обработки данных в GridGain как фреймов данных или RDD, а также для сохранения фреймов данных или RDD в GridGain для последующей обработки. Эти возможности позволяют Spark-разработчикам использовать GridGain как in-memory хранилище для доступа, сохранения и обмена данными между задачами Spark. GridGain поддерживает ANSI-99 SQL, включая индексирование данных, так что Apache Spark может использовать распределенный SQL платформы GridGain для повышения производительности нерегламентированных запросов до 1000 раз. Разработчики Spark могут также использовать фреймворк непрерывного обучения для автоматизации решений и постоянного обновления моделей с целью улучшения результатов в реальном времени.

«Компаниям, которые стремятся автоматизировать более интеллектуальный процесс принятия решений, необходимо привести к постоянному сотрудничеству две стороны цифрового мозга — машинное обучение и систему автоматического принятия решений, — говорит Эйб Кляйнфелд, президент и гендиректор GridGain Systems. — С выходом новой версии GridGain стало возможным непрерывное обучение информационных моделей в реальном времени на больших массивах данных, со скоростью и масштабом in-memory вычислений, с меньшими сложностями и расходами. Это первый шаг к тому, чтобы внутрипроцессные HTAP-приложения управляли приложениями непрерывного обучения, которые, в свою очередь, обеспечат реализацию инициатив по цифровой трансформации и внедрению омниканальности».