Работа агентов искусственного интеллекта на неверных данных может подорвать доверие к любому результату, основанному на данных, пишет на портале The New Stack Сара Леви, соучредитель и генеральный директор платформы управления данными Euno.

Хорошая новость заключается в том, что развернуть агентов ИИ и подключить их к вашим данным стало проще, чем когда-либо. Но само по себе это не сделает агентов ИИ эффективными для принятия решений на основе данных. Такие модели, как DeepSeek или любая другая большая языковая модель (LLM), не могут генерировать значимые выводы, если данные, лежащие в их основе, противоречивы. Это классическая проблема «мусор на входе, мусор на выходе».

Организации часто имеют несколько версий одной и той же метрики, каждая из которых рассчитывается по-разному. Возьмем, к примеру, «маржу прибыли» — финансы, продажи и операционный отдел могут определять ее по-разному. При такой несогласованности у ИИ нет шансов дать правильный ответ, потому что в действительности организация еще не пришла к согласию по поводу правильного ответа.

Многие думают, что для получения информации на основе ИИ достаточно очистить данные и устранить ошибки. Однако даже безупречные данные могут привести к противоречивым ответам без согласованных определений.

Сценарий реального мира

Допустим, агента ИИ попросили найти клиентов компании из группы риска — тех, кто с наибольшей вероятностью откажется от сотрудничества. Он ищет в CRM и видит поле с пометкой «в зоне риска», прикрепленное к списку учетных записей клиентов. ИИ извлекает данные, создает отчет и представляет результаты.

Правильно ли это? Не совсем. Команда поддержки клиентов применила эту метку «в зоне риска» несколько месяцев назад во время временной проблемы с обслуживанием. Риск следует оценивать по таким показателям, как долгосрочное вовлечение, использование продукта и исторический отток, а не по устаревшей метке. Хуже того, реальная модель оттока, официально принятая руководством, «живет» в рабочей книге, зарытой среди других исследовательских панелей в BI-инструменте.

Что же происходит дальше? ИИ-агент предоставляет неполный или вводящий в заблуждение анализ, команды принимают решения на основе неверных цифр, и доверие к аналитическим данным, полученным с помощью ИИ, снижается.

Создание основы для активов данных, готовых к ИИ

Традиционно команды подходят к аналитике на основе ИИ, сначала создавая управляемую семантическую модель. Создание управляемой основы для бизнес-метрик имеет решающее значение для долгосрочного успеха. Это обеспечивает последовательную интерпретацию данных и точное сопоставление бизнес-целей с данными. Семантическая модель необходима для преобразования текста в SQL и обеспечения того, чтобы агенты ИИ могли точно интерпретировать и отвечать на запросы на естественном языке, такие как: «Какова была наша CAC (стоимость приобретения клиентов) в прошлом квартале?».

Но если вы хотите, чтобы агенты ИИ создавали правильные панели и отчеты, им необходимо различать ситуативную работу и надежные продукты данных. В большинстве организаций есть тысячи приборных панелей, многие из которых созданы для быстрого анализа или разовых отчетов. Если пользователь просит: «Покажите мне наши показатели продаж по регионам», ИИ не должен просто выводить на экран первую попавшуюся панель.

Чтобы ИИ показывал правильные отчеты, мы рекомендуем помечать надежные приборные панели как сертифицированные, чтобы агенты ИИ могли уверенно ими пользоваться. Это позволит предотвратить принятие устаревших или исследовательских отчетов за достоверные данные.

Начните с малого и масштабируйте

Создание семантической модели и сертификация продуктов данных не обязательно должны быть подходом «все или ничего». Вместо того чтобы пытаться управлять всем сразу, начните с ограниченного набора таблиц (например, KPI для всей компании или таблицы, связанные с определенным доменом), а затем распространите их на всю экосистему данных.

Создайте управляемую семантическую модель

Семантическая модель выступает в качестве согласованного источника истины для ключевых показателей вашей организации. Она привязывает бизнес-замысел к данным с помощью стандартизированных определений, позволяя инструментам ИИ точно интерпретировать запросы на естественном языке, реализуя классический сценарий преобразования текста в SQL.

Но вот в чем проблема: аналитики постоянно создают новые определения метрик на лету в своих BI-инструментах. Не понимая, как определяются и используются эти метрики и не противоречат ли они существующим определениям, организации рискуют построить семантическую модель, не соответствующую реальным потребностям бизнеса. Чтобы убедиться, что ваша семантическая модель отражает то, как используются данные, вам нужно глубоко понять, что уже существует, как это используется и где кроются несоответствия.

Как создать семантическую модель:

  • Начните с наиболее часто используемых метрик. Начните с показателей, на которые часто ссылаются или запрашивают команды. Именно они принесут наибольшую пользу при наличии управления.
  • Отдайте предпочтение комплексным вычислениям. Метрики с пользовательской логикой — хорошие кандидаты на включение в семантическую модель. Управление ими гарантирует точность и минимизирует ошибки в последующих отчетах.
  • Поддерживайте последовательность и чистоту. Инвестируйте в разрешение конфликтов, выявление дубликатов и удаление неиспользуемых метрик.
  • Постоянно отслеживайте ситуацию. Семантическая модель не является статичной. Следите за тем, какие показатели набирают обороты, и оценивайте, стоит ли их включать в семантическую модель или заменять устаревшие определения.

Цель — не просто создать модель, необходимо поддерживать ее чистоту, актуальность и соответствие бизнесу по мере его развития.

Найдите противоречивые показатели, отследите их источники данных, сравните расчеты, оцените их использование и владельцев, чтобы устранить несоответствия.

Сертифицируйте продукты данных

Даже при наличии управляемой семантической модели агентам ИИ все равно необходимо знать, каким информационным панелям и отчетам можно доверять. Программа сертификации помогает отличить отчеты, созданные на основе проверенных, управляемых данных, от отчетов, созданных для исследовательского или разового анализа. Внедрение программы сертификации может помочь агентам ИИ сориентироваться в разросшихся приборных панелях.

Как это работает:

  • Установите критерии сертификации. Определите, что делает приборную панель или отчет сертифицируемыми. Например: данные должны быть получены из таблиц производственного класса; права собственности и документация должны быть четкими и актуальными; не включайте пользовательскую логику (например, в виде пользовательских SQL-запросов).
  • Добавьте метку «сертифицировано» к информационным панелям. Приборные панели могут быть помечены как «сертифицированные», чтобы указать, что они соответствуют стандартам управления. Вы можете управлять этим процессом вручную или использовать инструменты автоматизации сертификации. Эти инструменты позволяют определить, какие приборные панели соответствуют критериям сертификации, выявить недостатки в несертифицированных панелях и предоставить четкие шаги по их устранению.
  • Осуществляйте постоянный мониторинг. Если источник данных или логика панели изменяются, необходимо пересмотреть ее сертификационный статус. Регулярно обновляйте сертификаты, чтобы агенты ИИ всегда работали с надежными данными и получали достоверные результаты.

Отследите наиболее используемые панели и убедитесь, что они сертифицированы.

Подключение агентов ИИ к данным управления через API

Агенты ИИ по своей природе не понимают, что такое управление, им нужны четкие указания на достоверность активов данных. Подключение их к данным управления через API гарантирует, что они будут выдавать только надежные, сертифицированные инсайты.

Для отображения приборных панелей, когда пользователь, например, запрашивает: «Покажите мне показатели продаж по регионам», агент ИИ должен:

  • запросить API управления, чтобы найти сертифицированные приборные панели;
  • выводить на экран наиболее релевантную, проверенную приборную панель, избегая устаревших или несертифицированных версий.

Для ответов на специальные вопросы, например, «Каков процент оттока корпоративных клиентов?», агенты ИИ должны:

  • извлекать определения из семантической модели для обеспечения согласованности;
  • использовать только проверенные источники данных для расчета и получения точных результатов.

Интегрируя метаданные управления в свои рабочие процессы, агенты ИИ могут уверенно отличать высококачественные, надежные активы от исследовательских или устаревших.

Результат: ИИ, который работает так, как ожидалось

Организации могут преобразовать свою аналитику на основе ИИ, создав управляемую семантическую модель и надежную программу сертификации. Вместо того чтобы строить догадки или полагаться на неполные данные, агенты ИИ будут предоставлять точные и действенные инсайты в соответствии с требованиями бизнеса.

Если ваши данные готовы к ИИ, то:

  • Решения принимаются быстрее. Пользователи получают мгновенный доступ к достоверным сведениям.
  • Доверие повышает уровень адаптации. Бизнес-команды с уверенностью полагаются на инструменты ИИ.
  • Данные остаются чистыми. Процессы управления уменьшают беспорядок и количество ошибок.

Заключение

Аналитика на основе ИИ сможет изменить правила игры только в том случае, если будет обеспечено управление активами данных. Без управления инструменты ИИ рискуют усилить хаос, а не внести ясность. Стандартизация ключевых показателей, сертификация надежных приборных панелей и подключение агентов ИИ к метаданным управления обеспечат реальную и надежную отдачу от вашей инициативы в области ИИ.

Генеративный ИИ может произвести революцию в аналитике. Только убедитесь, что ваша организация готова соответствовать его обещаниям.