Инсайт-платформы как сервис: что это и почему они важны

Конвергенция облаков, автоматизации и групповой работы породила новый класс предложений для инсайтов на базе данных. Мы бросаем взгляд на их определяющие характеристики, опираясь на анализ Forrester и комментарии Qubole.

Фраза «Интегрированный набор компонентов для управления данными, аналитикой и разработкой и управлением инсайт-приложений, предлагаемый в виде платформы, которая не находится во владении или под контролем предприятия» звучит несколько пугающе или таинственно. Пугает ли она вас или нет, но это определение инсайт-платформы как сервиса (Insight platform as a service, IPaaS), даваемое компанией Forrester. Пугающий элемент связан с отрицанием владения или контроля. Многим предприятиям этот факт может показаться неприятным, так как он означает строгое подчинение подобно следование записанному в ДНК генетическому коду.

Однако переход в облако, вызывавший в прошлые годы много дебатов, сегодня в значительной мере стал данностью. Хотя владение и контроль являются центральными вопросами, аргументы в пользу облака так или иначе одержали верх, и большинство предприятий ныне находится в облачном лагере.

Темп инноваций, экономия от масштаба, адаптируемость и гибкость, похоже, перевешивают владение и контроль. Тренд, первоначально относимый к инфраструктуре, вскоре распространился на приложения и платформы. И, как конечный результат, на сегодняшний день большая доля корпоративных приложений и данных живет в облаке.

Если имеются веские причины для перевода данных в облако, так почему бы не обзавестись в том же облаке еще и инструментами, необходимыми для извлечения инсайтов (сути) из этих данных? Зачем перегонять данные взад и вперед?

Представление об облаке как о неотъемлемой части анализа на базе данных бытует уже не один год. Новое однако состоит в том, что теперь мы говорим не только об инструментах на базе облака, а о целых платформах, предлагающих все необходимое в комплекте: от механики предоставления серверов и введения данных в аналитику до самой аналитики, автоматизации и средств совместной работы.

Формируя тренды

Автоматизация (поддерживаемая главным образом машинным обучением) прошла путь от обособленных библиотек к интегрированным средам и далее к автоматизации самой автоматизации. Автоматизация уже не предлагается только как возможности или даже сервис для конечных пользователей, но еще работает внутренним образом в инструментах и платформах для работы с большими данными, усиливая их собственный потенциал и эффективность.

Широко популярны решения, обеспечивающие сотрудничество внутри групп и между группами. Будь то совместные исследования специалистов по работе с данными, воплощение решений в продукте, управление инфраструктурой, кооперация инженеров по данным и операторов или предоставление инсайтов бизнес-пользователям, анализ на основе данных является командной игрой и нуждается в ПО, поддерживающем эту игру.

Управляемые облачные сервисы для больших данных завоевывают авторитет как реалистический путь, следуя которым аналитика больших данных и машинное обучение смогут влиться в мейнстрим. Так что, цитируя моего коллегу Тони Баера, это станет следующим крупным платформенным решением.

Qubole создает IPaaS

Qubole, компания, основанная выходцами из Facebook Тусу и Сарма, похоже, принадлежит к тем, кто это четко усвоил. Это было ясно из нашей дискуссии с Тусу о концепции DataOps, или о том, как инфраструктура, процесс и культура могут работать вместе, помогая организациям принимать решения.

В настоящее время Qubole как раз запустила новую инкарнацию того, что компания называет Qubole Data Service, платформы, попадающей под определение IPaaS и включенной в отчет «Forrester Wave: Insight Platforms-As-A-Service, Q3 2017».

Любопытно, что исходно запланированная Qubole дата ее выпуска почти совпадала с отчетом Forrester. Хотя тот факт, что QDS была включена в число лидеров наравне с аналогичными решениями Google, Amazon и IBM, сам по себе является большим успехом, в отчете было отмечено, что QDS запаздывает по сравнению с другими опциями.

Поскольку время выпуска QDS было сдвинуто, один из первых вопросов, который мы обсуждали с Дэвидом Хси, вице-президентом Qubole по маркетингу, состоял в том, существовала ли связь между двумя событиями, если Qubole использовала лишнее время для расширения своего предложения, и как компания относится к критике Forrester и реагирует на нее.

Он отметил, что Qubole значительно продвинулась в развитии бизнеса, перейдя от выпуска одного продукта к трем, и желая обеспечить, чтобы все функционировало максимально безупречно как в техническом тылу, так и на бизнес-фронте, компания взяла дополнительное время для полировки тонких деталей.

Хси также указал на определенную специфику отчета Forrester Wave в отношении времени и методологии, так как его оценки основаны на присутствии продуктов на рынке в момент, когда Forrester начинает оценочный процесс, и на описаниях, представленных вендорами, а не на демонстрации работы самих продуктов.

По-видимому, в Qubole полагают, что их теперешнее предложение в конечном счете получило бы лучшую оценку, хотя в принципе это не так уж важно. Важно дать определение этой сферы ИТ и понять, как предложение Qubole вписывается в это определение.

Хси с этим согласен: «Мы думаем, что концепция инсайт-платформы как сервиса хороша, и по существу именно это и предлагает QDS. Трендовые прогнозы Forrester обычно попадают в точку, и, действуя в интересах своих клиентов, Qubole ориентируется на новый тренд».

Конкуренция и сотрудничество в облаке

IPaaS сегодня привлекает внимание все большего числа вендоров, и это создает интересные ситуации. Поскольку крупные облачные провайдеры и сами участвуют в игре на арене сервисов больших данных, во многих случаях возникают ситуации, когда конкуренция сочетается с сотрудничеством.

Например, QDS предлагается в AWS, Azure и GCP, однако и конкурирует с вендорами этих сервисов. QDS также поддерживает Oracle Bare Cloud, но в определенной мере является или будет конкурентом Oracle. Вместе с тем QDS не поддерживает IBM.

Какими же критериями руководствуется Qubole, выбирая вендоров для совместной работы, как они смотрят на происходящее и каковы преимущества QDS по сравнению с предложениями облачных провайдеров?

Хси признает двойственность отношений с ведущими провайдерами публичных облаков, но считает, что рынок очень велик и разнообразные компании имеют массу возможностей. По его словам, Qubole имеет солидную пользовательскую базу в каждом из поддерживаемых облаков, так что выбор был обусловлен рынком. Часть заказчиков хочет избежать замкнутости на одном вендоре, другие используют для разных целей разные облака, и в ряде случаев крупные компании просто не могут навязывать своим подразделениям единообразие.

Хси упоминает три фактора, по которым Qubole дифференцирует себя от облачных вендоров: отсутствие замкнутости, плюсы по стоимости владения (TCO) и автоматизация: «Мы независимы от облака, так одни и те же запросы и приложения могут работать в любом облаке, которое подходит заказчикам, без каких-либо изменений в коде. Облачные провайдеры не мотивированы изобретать функции, которые уменьшают потребление сервисов, а у нас это есть. Автоматизация повышает маневренность, масштабируемость и снижает TCO, и я полагаю, что другим компаниям тоже придется это делать, но они уже почти на год от нас отстают».

Но на рынке IPaaS присутствуют не только одни облачные провайдеры, и вопрос, почему с Qubole не соперничают, скажем, Databricks или Confluent? По словам Хси, хотя компании типа Databricks и Confluent могут лучше знать свои технологии (Spark и Kafka соответственно), они не знают, как использовать преимущества облака.

Заявление очень спорное, но Хси к нему добавляет, что этот факт Qubole неоднократно доказала в бенчмарках TCO. Убеждают ли вас эти бенчмарки или нет, но Qubole они дают основание заявлять о более широком спектре качеств своей платформы.

QDS поддерживает Spark, Hadoop, Presto и другие технологии в рамках одной группы средств контроля и управления. Хси говорит, что их платформа предназначена для разнообразных типов рабочих нагрузок (ETL, исследование данных, потоковая обработка, задания по случаю и т. д.) и конечно учитывает запросы сегодняшних пользователей.

Автоматизация: Qubole-on-Qubole

Хси также заявляет, что конкуренты Qubole реально от нее отстают по части автоматизации. Из-за чего? Ответом является QDS Cloud Agents, один из трех новых продуктов Qubole, который представляет собой опциональный аддон к QDS Enterprise Edition, автономно исполняющий целый ряд задач по управлению данными.

Первоначальный релиз QDS Cloud Agents включает в себя Workload-Aware Auto-Scaling Agent, Data Caching Agent и Spot Shopper Agent (только для AWS). Эти агенты оптимизируют размеры кластеров под требования рабочей нагрузки, оптимизируют расположение данных и мест их обработки в облаке AWS для соответствующей компоновки виртуальных вычислительных узлов.

По словам Хси, «единственным способом высвободить силы персонала по работе с данными является автоматизация. Надо, чтобы машины взяли на себя рутинные человеческие задачи (но выполняя их быстрее, дешевле и надежнее), чтобы люди могли сфокусироваться на решении проблем, инновациях и создании бизнес-ценностей».

С этой целью Qubole намерена продолжать разработку новых облачных агентов, и, как отмечает Хси, имеет солидную инженерную команду, сконцентрированную исключительно на автоматизации и агентах. Однако наиболее интересным аспектом этой работы является то, что Хси именует Qubole-on-Qubole.

«Половина нашей команды работает над инфраструктурной стороной — инженеры используют QDS для управления озером данных, в котором собираются метаданные. Другая половина включает инженеров по данным и экспертов по интеграции данных с операциями, имеющих практический опыт, а также специалистов по анализу данных и занимается разработкой функций, созданием полезных инсайтов и оповещений, построением алгоритмов; она же вырабатывает рекомендации и создает новые облачные агенты, — рассказал он. — Разрабатывая наши модели машинного обучения и глубокого обучения, мы используем в QDS функции записных книжек (notebooks), а потом переносим результаты этих моделей обратно в QDS. Хотя это выглядит несколько заумным, но по существу это Qubole-on-Qubole».

О сотрудничестве и выводы

Сравнение участников рынка IPaaS порождает вопрос о линиях их сотрудничества. Сотрудничество, а конкретнее поддержка интерактивных записных книжек, тоже является важной частью IPaaS и QDS. Однако до недавнего времени QDS поддерживала только записные книжки Zeppelin.

«По существу, записные книжки становятся чем-то вроде IDE для специалистов в науке о данных и все чаще для практических аналитиков данных. Думаем, будет важно поддерживать разные варианты записных книжек, так же как мы поддерживаем разнообразные Open Source-технологии обработки данных», — говорит Хси.

По его словам, функция записных книжек QDS создавалась несколько лет назад, и в то время Zeppelin был несколько более зрелым. Согласно пожеланиям пользователей далее была добавлена поддержка Jupyter и RStudio, хотя последние еще не выглядят в QDS первоклассными гражданами.

Что же из всего сказанного следует? IPaaS является очень интересным классом предложений, востребованность которых будет расти, так как все больше организаций переводят многие приложения и данные в облако. Однако какие предложения принадлежат к этой категории и каковы критерии для их оценки, дело в определенной мере субъективное.

Стоит ли выбрать единый центр услуг, чтобы все ваши потребности работы с данными покрывал ваш облачный провайдер? Или вам удобнее иметь дело с многооблачной средой, где кто-то предоставлял бы вам управляемый сервис Kafka, Spark или любой другой подходящей для вас платформы?

Как обычно, это зависит от ваших нужд и бюджета. Qubole пытается взять лучшее из двух миров, предлагая платформу, которая является и многооблачной, и многоплатформенной, и управляемой. Если это то, что нужно и по карману вашей организации, QDS выглядит привлекательной опцией.