Согласно Gartner «2024 Magic Quadrant for Data Science and Machine Learning Platforms», распространение генеративного ИИ (GenAI) стимулирует предприятия внедрять консолидированные платформы науки о данных и машинного обучения (DSML), способные работать как с традиционным МО, так и с новыми сценариями использования GenAI, сообщает портал Datanami.
По определению Gartner, платформа DSML — это интегрированный набор библиотек, позволяющий специалистам по исследованию данных выполнять все аспекты жизненного цикла науки о данных, используя подходы, основанные на low-code или традиционном кодировании. Помимо очистки и подготовки данных, платформы, которые работают либо в Интернете, либо устанавливаются на ПК, позволяют специалистам в области науки о данных анализировать данные, чтобы понять их, а затем строить и внедрять модели МО и ИИ в производство.
В то время как традиционное МО ориентировано на структурированные данные, такие как таблицы чисел в базе данных, новые ИИ-подходы, в первую очередь GenAI, основаны на неструктурированных данных, таких как текст и изображения. Современные платформы DSML могут работать с обоими типами данных.
«Поддерживаемые DSML методы МО варьируются от классической регрессии или деревьев решений до более сложных глубокого обучения, обучения с подкреплением и GenAI, — пишут аналитики Gartner Афраз Джафри, Аура Попа, Питер Кренски, Джим Хейр, Рагвендер Бхати, Марьям Хассанлу и Тонг Чжан. — Модели, построенные с помощью этих методов, могут использоваться для решения задач в рамках бизнес-процессов, таких как кредитный скоринг, прогнозирование оттока клиентов, предиктивное обслуживание, рекомендации и классификация изображений.»
В настоящее время GenAI способствует значительному росту внедрения DSML-платформ. По данным Gartner, 53% респондентов в недавнем опросе назвали спрос на GenAI «причиной значительного увеличения расходов на DSML-платформы в 2024 г. и далее». Однако создание GenAI-продуктов, как известно, сопряжено с определенными трудностями, и количество проектов здесь значительно превышает количество реальных внедрений.
«Всплеск спроса на ИИ-решения, включая GenAI, находится на пике, — пишут аналитики Gartner, — однако никогда еще не было так сложно собрать исходные данные, модели, код и инфраструктуру в надежные масштабируемые продукты».
Хорошая новость для поклонников GenAI (то есть для всех нас) заключается в том, что платформы DSML готовы сделать шаг вперед и помочь привнести GenAI в сферу ИИ и МО. Разработчики этих платформ создали устоявшиеся процессы для создания всевозможных продуктов MО и ИИ, и новые рабочие нагрузки GenAI могут воспользоваться плодами этого прогресса.
Однако существует некоторый разрыв между тем, что организации хотят получить от GenAI, и тем, как инструменты DSML помогут им в этом, с точки зрения персон, которые используют эти инструменты. По мнению Gartner, это связано с тем, что GenAI привлекает к работе с наукой о данных все больше людей из бизнес-подразделений. Как правило, они обладают менее развитыми навыками, чем полноценные специалисты по анализу данных.
Быстрые темпы развития ИИ меняют роль людей, которые собирают все воедино. По данным Gartner, к 2027 г. 50% аналитиков данных будут переквалифицированы в специалистов в области науки данных. А сегодняшние такие специалисты станут завтрашними инженерами по ИИ.
Но, по мнению Gartner, есть и хорошие новости: такие функции, как AutoML, когда ПО принимает решения об использовании функций, весов и моделей MО, становятся обычным явлением в платформах DSML.
Кроме того, эти возможности AutoML дополняются возможностями GenAI, такими как помощь в кодировании и запросы на естественном языке, что еще больше снижает барьер для входа и способствует демократизации науки о данных.
По мнению Gartner, поскольку GenAI будет способствовать росту спроса на ИИ и привлечению большего числа людей в сферу ИИ, платформы DSML будут играть все более важную роль.
«Проблема для лидеров в области науки о данных и ИИ, — пишут аналитики Gartner, — заключается в том, как управлять деятельностью распределенных команд DSML, а также добиваться максимальной эффективности за счет сотрудничества с централизованными ресурсами».
Облачные гиганты завоевывают рынок
Облачные гиганты добились значительных успехов на рынке платформ DSML, говорится в отчете Gartner. Но благодаря попутному ветру от GenAI и необходимости межкомандного взаимодействия небольшие софтверные компании, как ожидается, будут продолжать внедрять инновации и процветать.
Amazon Web Services, Google Cloud и Microsoft Azure оказались в квадранте лидеров последнего «Магического квадранта» Gartner для платформ DSML, где к ним присоединились Databricks, Dataiku, DataRobot, SAS и Altair.
Авторы отчета отмечают, что предложения гипескейлеров набирают обороты на этом рынке «благодаря доступности вычислений, данных и инфраструктуры, необходимых для разработки DSML».
«Тем не менее, у других игроков рынка также есть возможности для процветания, особенно в том, что касается обеспечения совместной работы команд, что является ключевым фактором для разработки DSML и GenAI, — продолжают авторы. — Распространение методов DSML на большее количество предприятий и в каждую область бизнеса — это возможность, которой могут воспользоваться как поставщики, так и конечные пользователи». По их словам, основополагающий сценарий использования науки о данных для принятия решений на основе инсайтов не должен быть потерян в шуме GenAI, а платформы DSML предлагают идеальное место для объединения передовой аналитики и ИИ-разработок.
Поразительно, как быстро изменился состав DSML-лидеров всего за несколько лет. Из восьми поставщиков, вошедших в нынешний квадрант лидеров, в 2019 г. там были только SAS и RapidMiner (сейчас принадлежит Altair). Даже в 2021 г. ни один из облачных гигантов не входил в квадрант лидеров, хотя Databricks, Dataiku и SAS в нем присутствовали.
Вендоры, которые считались лидерами в магическом DSML-квадранте в 2021 г., , включая KNIME, TIBCO, Mathworks и IBM, ухудшили свои позиции с точки зрения способности к реализации и полноты видения. Alteryx, которая была в квадранте претендентов, теперь находится в квадранте нишевых игроков, вместе с MathWorks и KNIME.
Cloudera, тем временем, переместилась из квадранта нишевых игроков в 2021 г. в квадрант провидцев в
