Эндрю Селлерс, руководитель группы технологической стратегии Confluent, и Ади Полак, старший инженер-программист и специалист по работе с разработчиками подразделения Azure Engineering компании Microsoft, рассказывают на портале The New Stack о тенденциях в области искусственного интеллекта, которые окажут наибольшее влияние на инженерные команды, и дают советы, как к ним адаптироваться.

Интерес к ИИ резко возрос в 2020 г. и с тех пор эта тема доминирует в заголовках новостей и в залах заседаний. Поэтому неудивительно, что развитие бизнеса последовало этому тренду: согласно результатам опроса Confluent «2024 Data Streaming Report», 81% ИТ-руководителей назвали ИИ и машинное обучение важным или главным приоритетом в своих бюджетах на 2024 г.

Но приведет ли все это внимание и инвестиции к тому, что в ближайшем будущем ИИ станет повсеместным и будет работать так, как задумано? Все зависит от того, достаточно ли у предприятий инженеров, обладающих новыми навыками, правильных инструментов и надежных данных, чтобы превратить обещания ИИ в реальные возможности.

Давайте рассмотрим тенденции в области ИИ, которые окажут наибольшее влияние на инженерные команды, и обсудим, как преодолеть связанные с ними проблемы.

Тренд № 1. Галлюцинации будут оставаться существенным препятствием для продакшн по мере роста числа сценариев использования LLM

Большие языковые модели (LLM) продолжают следовать закону Мура, экспоненциально увеличиваясь с объемом обучающих данных, которые они рассматривают, количеством параметров, которые их определяют, и размером контекстного окна, которое они могут учитывать. Тем не менее, интерпретируемость моделей в целом остается труднодостижимой. LLM в целом являются плохими рассуждающими агентами, поэтому их сочетание с механизмами, которые, как мы уже знаем, работают, поможет нам значительно продвинуться в преодолении галлюцинаций, возникающих при использовании одних только LLM.

Влияние на разработчиков

LLM являются стохастическими по своей природе, в то время как многие традиционные лучшие QA-практики предполагают, что тестируемая система является детерминированной. Разработчикам придется использовать различные подходы для тестирования и повышения уверенности в приложениях на основе LLM. Для измерения качества выводов и минимизации галлюцинаций можно применить исторически полезные методы МО и другие технологии. При наличии защитных ограждений для конкретных приложений инженеры могут создавать LLM, относительно которых можно надежно определять, когда они галлюцинируют или предоставляют информацию с низкой степенью достоверности.

По сравнению с LLM, использование небольшой тонко настроенной языковой модели обеспечит лучший ответ. Однако для успеха ее работы разработчикам необходимо снабдить ее правильными сведениями, такими как события, своевременные и персонализированные данные. Одним из перспективных шаблонов, который разработчики могут использовать для снижения влияния галлюцинаций, является генерация с расширением выборки (retrieval-augmented generation, RAG), объединяющая подсказки для получения выводов с релевантной информацией, специфичной для конкретной области.

Тренд № 2. Агентный ИИ станет более способен к самостоятельному принятию решений

Агентные системы ИИ обещают принимать решения и действовать самостоятельно от имени конкретных бизнес-функций, команд и даже отдельных людей внутри бизнеса. Однако по мере того как модели ИИ становятся все более сложными, они теряют прозрачность, и это ставит перед инженерными командами сложные вопросы, на которые необходимо ответить при создании и развертывании ИИ-агентов.

Влияние на разработчиков

По сравнению с менее автоматизированными системами, распознать ошибки в ИИ до того, как зависимые системы начнут использовать результаты, гораздо сложнее. Внедрение RAG с конвейерами данных реального времени может помочь дополнить решения агентного ИИ важным контекстом для улучшения осведомленности об окружающей среде и принятия решений.

По мере того как эти решения будут переходить от концепции к разработке и производству, все большему числу организаций потребуется платформа потоковых данных (DSP) с возможностями потоковой передачи, обработки и управления, чтобы устойчиво создавать и масштабировать эти возможности в долгосрочной перспективе. Событийно-ориентированные архитектуры, поддерживаемые DSP, обеспечивают основу для реализации агентных систем, моделируя их как асинхронные рабочие процессы, состоящие из композитных микросервисов. Такой подход способствует многократному использованию отдельных компонентов агентных систем и делает более крупные системы более удобными для анализа и масштабирования, чем если бы они создавались как большие монолиты.

Тренд № 3. Инженерные команды переходят на динамический доступ моделей ИИ к данным

Растущий спрос на динамический доступ к данным или доступ к данным в режиме реального времени характерен не только для инициатив в области ИИ/МО, он также способствует росту аналитики реального времени. В последнее десятилетие инженерные команды все чаще используют потоковые движки с открытым исходным кодом, такие как Apache Kafka и Apache Flink, для создания рекомендаций, прогнозов и обнаружения аномалий в режиме реального времени.

Влияние на разработчиков

Эта тенденция также затронет инфраструктуру и команды, стоящие за этими проектами. Переход к доступу к данным в режиме реального времени обеспечит более гибкую и динамичную организацию данных, что даст возможность пользователям, чат-ботам и даже ИИ-агентам быстро получать доступ и запрашивать широкий спектр данных.

Расширение возможностей инженеров благодаря новым ИИ-навыкам и лучшим данным

Компаниям, которые ищут пути снижения сложности и затрат при создании ИИ-решений реального времени, необходимо перенести обработку данных «влево» (на более ранние этапы жизненного цикла) и использовать контракты на данные для обеспечения динамического доступа к надежным продуктам данных. Полученные данные можно использовать либо в виде потоков данных, либо в виде открытых табличных форматов. Такой подход позволит командам по работе с данными обеспечить эффективную обработку данных, предоставляя инженерам данные в чистом, согласованном формате и позволяя им создавать динамические ИИ-приложения с большей уверенностью и меньшим риском.

Однако для успеха ИИ-инициатив недостаточно обеспечить инженеров надежными данными. Руководителям также необходимо мотивировать опытных инженеров обучать и наставлять младших членов команды, предоставляя им время, ресурсы и поддержку, чтобы они могли сосредоточиться на создании дифференцированных приложений.

Инженеры по данным могут использовать LLM и инструменты генеративного ИИ (GenAI) для развития своих навыков инжиниринга подсказок и освоения шаблонов кодирования. Это поможет им в изучении основ информатики, повышении уровня владения популярными в области обработки данных и ИИ/МО языками, такими как Python и Java, а также в понимании процессов обработки данных реального времени.