Если первые приложения генеративного искусственного интеллекта (GenAI) требовали большого объема кодирования, то сейчас появляются более простые инструменты, пишет на портале The New Stack Сакет Саурабх, соучредитель и генеральный директор интеграционной ИИ-платформы Nexla.
Мало кто ожидал, что GenAI изменит все так быстро. Его внедрение на предприятиях происходит быстрее, чем облачных вычислений или больших данных, а владение этими технологии в прошлом считалось вопросом жизни или смерти. GenAI кажется надвигающимся цунами, и вы должны оседлать его или умереть сейчас.
Использовать GenAI сложно. Высокотехнологичные компании и стартапы уже демонстрируют его возможности. Однако, как и в случае с большинством инноваций, инструменты, которые они создают и используют, требуют навыков, которых не хватает большинству компаний. Инструментарий должен быть упрощен, прежде чем остальной мир сможет принять GenAI.
Но не стоит паниковать.
Во-первых, у вас по-прежнему будет работа. GenAI не заменит (пока) людей, а инженеров по данным он не заменит еще очень долго. Если вы инженер по данным, готовый пробовать новые инструменты и знающий, где в первую очередь можно использовать GenAI, у вас все будет хорошо.
Если первые приложения GenAI требовали большого объема кодирования, то сейчас появляются более простые инструменты. Мы, например, используем GenAI для автоматизации повторяющихся задач, которые отнимают много времени при интеграции. Менее технически подкованные инженеры могут интегрировать данные, создавая многократно используемые продукты данных и рабочие процессы без кодирования. Коннекторы, схемы и способы реализации продуктов данных и рабочих процессов — все это генерируется. Это включает в себя создание конвейеров GenAI с расширенной выборкой (retrieval-augmented generation, RAG).
Поиск первых сценариев применения GenAI также стал более простым. Просто определите, какие сотрудники или клиенты могли бы использовать ассистентов, также называемых «вторыми пилотами», чтобы позволить им выполнять задачи самостоятельно. Один из наиболее распространенных примеров — чатбот-ассистент, который дает рекомендации, используя базу знаний, например, базу данных службы поддержки.
Такое двойное применение GenAI можно назвать интеграцией ИИ для ИИ.
GenAI в реальном мире: TripAdvisor и Bloomreach
Сейчас существует множество примеров того, как компании используют GenAI для создания более персонализированного опыта или улучшения работы. Возможно, вы уже получаете выгоду от GenAI, но не осознаете этого.
Туристическая платформа TripAdvisor использует GenAI для улучшения работы с более чем 400 млн. ежемесячных активных пользователей и 1 млрд. отзывов. Они создали приложение для планирования поездок на основе ИИ, которое создает подробные маршруты на каждый день с персональными рекомендациями на основе профилей и предпочтений пользователей, чтобы помочь им спланировать поездку. TripAdvisor также начала использовать GenAI внутри компании для поддержки отделов обслуживания клиентов, продаж, маркетинга, финансов, бухгалтерии, HR и аналитики. В результате информация стала более доступной для пользователей, поисковых систем и внешних (партнерских) приложений.
TripAdvisor интегрировала GenAI в свой рекомендательный движок, используя GenAI для помощи инженерной команде в написании кода. Это один из многих примеров ИИ-интеграции.
Еще один отличный пример — Bloomreach, облачная платформа для электронной коммерции, которая персонализирует 25% опыта электронной коммерции в США и Великобритании. Они используют ИИ для улучшения поиска и подбора товаров. Они также предоставляют Bloomreach Clarity, продукт для разговорного шопинга, который использует естественный язык и изображения, чтобы помочь найти нужные товары.
Интеграция на основе ИИ помогла Bloomreach сократить время интеграции в два раза. Это важно при подключении клиентов электронной коммерции. Но что еще более важно, это также повышает точность данных. Не бывает хорошего ИИ без хороших данных. Улучшение результатов работы ИИ приводит к повышению удовлетворенности конечного пользователя каждым опытом электронной коммерции.
После знакомства с этими и другими проектами GenAI вот мои советы.
1. Инвестируйте в основные навыки инженера по данным
ИИ не может заменить инженеров по данным. В описанных выше этих проектах все равно требовались люди, понимающие основы инженерии данных, включая моделирование данных, лучшие практики DataOps и, да, SQL-оптимизацию. Убедитесь, что вы продолжаете развивать эти основные навыки. Даже если GenAI будет давать рекомендации, вы все равно должны быть экспертом, принимающим окончательное решение.
2. Изучите RAG прямо сейчас
RAG — это наиболее распространенный шаблон для внедрения GenAI. Вместо того чтобы заново обучать или настраивать большую языковую модель (LLM), что может быть очень дорого и сложно, вы загружаете релевантные данные, вашу базу знаний, в векторную базу данных. Когда делается запрос (подсказка), вы сначала ищете в векторной базе данных наиболее подходящий контекст. Затем вы отправляете запрос и контекст в общую LLM, например ChatGPT или Llama.
RAG — это то, что вам нужно. И вам нужно знать, как этим пользоваться.
3. Пробуйте использовать инструменты, работающие на базе GenAI
Не бойтесь пробовать новые инструменты интеграции, основанные на ИИ. Потому что если вы этого не сделаете, это сделают другие.
Интеграция на основе ИИ повысила производительность интеграции в два раза и более в большинстве проектов, которые мы видели. ИИ автоматизирует мелкие детали, которые замедляют интеграцию, например извлечение схемы данных и определение наилучшей стандартной модели, сопоставление преобразований или автоматизацию эволюции схемы в конвейере данных.
Однако GenAI не совершенен. Как эксперт, вы должны уметь замечать проблемы (см. пункт 1).
4. Готовьтесь к агентному ИИ
Агентный ИИ означает, что агент управляет взаимодействием «чатбота» с LLM для самостоятельного принятия решений. Со временем все больше компаний начнут дорабатывать модели, используя такие методы, как тонкая настройка с учетом расширенной выборки (retrieval-augmented fine-tuning, RAFT) или переобучение своих моделей.
Это может показаться сложным, но, опять же, не стоит паниковать. Некоторые говорят, что
Снова дежавю
Хотя некоторые говорят, что ИИ меняет мир, это не меняет потребности в инженерах по данным. Их ключевые навыки по-прежнему необходимы. Но, как и в случае с любой новой тенденцией, вы должны идти в ногу со временем. Это означает, что вам нужно изучить и использовать RAG сейчас и начать узнавать больше о тонкой настройке и обучении моделей в будущем.
