Теперь, когда искусственный интеллект стал темой для обсуждения на уровне советов директоров, организации спешат достичь успешных результатов, но для этого требуется планирование, пишет на портале BigDATAwire Кит Беланжер, технический директор DataOps.live.

По данным Gartner, более 60% проектов в области ИИ не соответствуют бизнес-соглашениям об уровне обслуживания (SLA) и часто закрываются из-за низкого качества данных, слабого управления или отсутствия контекстной релевантности. Хотя модели ИИ/МО получают большое внимание, правда в том, что они хороши настолько, насколько хороши данные, которые их питают. Если организации не доверяют своим данным, они не могут доверять своему ИИ.

Именно здесь вступает в игру наблюдаемость данных. Выходя за рамки простого мониторинга или проверки качества данных, наблюдаемость данных непрерывно оценивает состояние, достоверность и репрезентативность данных на протяжении всего их жизненного цикла. Она гарантирует, что конвейеры данных выдают результаты, соответствующие ожиданиям бизнеса, и подходят для обучения и эксплуатации моделей ИИ/МО.

Тем не менее, наблюдаемость данных также оказалась в центре ажиотажа. В отчете Gartner «Hype Cycle for Data Management 2025» отмечается, что, несмотря на быстрый рост популярности наблюдаемости, сейчас она находится во «впадине разочарования», в то время как организации изо всех сил пытаются сделать ее практичной и ценной. Урок: наблюдаемость — это не просто инструмент, который вы покупаете; это дисциплина и культура, которые должны быть встроены в практику работы с данными, чтобы соответствовать этому инструменту.

Если организации хотят правильно реализовать наблюдаемость данных и подготовить себя к успеху в области ИИ, им необходимо выполнить следующие пять шагов:

1. Отнеситесь к наблюдаемости как к основе готовности к внедрению ИИ. В традиционном понимании, высококачественные данные означают, что аномалии устранены, чего недостаточно для современных моделей ИИ/МО. Например, в аналитике мы можем удалять выбросы для создания четких отчетов, удобных для восприятия человеком. Но для обучения модели ИИ/МО эти аномалии, ошибки и непредвиденные события жизненно важны. Они помогают алгоритмам распознавать весь спектр закономерностей реального мира.

Наблюдаемость данных гарантирует, что конвейеры данных будут собирать репрезентативные данные, как ожидаемые, так и хаотичные. Постоянно отслеживая дрейф, выбросы и неожиданные изменения, наблюдаемость создает петлю обратной связи, которая позволяет моделям ИИ/МО обучаться ответственно. Короче говоря, наблюдаемость — это не просто дополнение, а основополагающая практика для данных, готовых к использованию в ИИ.

2. Внедрите наблюдаемость в практики DataOps. Наблюдаемость данных наиболее эффективна в сочетании с DataOps. Подобно тому, как DevOps привносит непрерывное тестирование и мониторинг в процесс разработки ПО, DataOps встраивает тестирование, валидацию и управление в сам конвейер данных.

Вместо того, чтобы полагаться на ручные проверки постфактум, наблюдаемость должна быть непрерывной и автоматизированной. Это превращает наблюдаемость из реактивной системы безопасности в проактивный ускоритель для надежной доставки данных.

В результате каждый новый набор данных или преобразование может генерировать метаданные о качестве, происхождении и производительности, а конвейеры — включать регрессионные тесты и оповещения в качестве стандартной практики. Это также гарантирует обнаружение и маркировку сбоев или аномалий до того, как они дойдут до бизнес-пользователей или моделей ИИ/МО.

3. Автоматизируйте контроль за соблюдением правил управления. Управление, часто называемое причиной замедления процессов в сфере ИИ, всегда является непреложным требованием. Нормативные акты, средства контроля рисков и бизнес-SLA требуют, чтобы данные, передаваемые в модели ИИ/МО, контролировались в контексте.

Ключевым моментом является автоматизация. В отличие от политик, которые хранятся в папках, наблюдаемость позволяет использовать политики как код. Таким образом, контракты данных и проверки схем, встроенные в конвейеры, могут подтверждать соответствие входных данных целевому назначению. Процедуры обнаружения отклонений также могут автоматически отмечать отклонения данных для обучения от операционных реалий, при этом правила управления, от обработки персональных данных до определения происхождения, применяются постоянно, а не задним числом.

Автоматизированное управление критически важно, поскольку оно создает уверенность в том, что данные, поступающие в модели ИИ/МО, соответствуют необходимым стандартам, не замедляя при этом инновации.

4. Обеспечьте взаимодействие межфункциональных команд. Наблюдаемость — это не просто техническая задача для инженеров данных. Ее истинная ценность проявляется, когда команды, отвечающие за бизнес, управление и ИИ, разделяют единый взгляд на здоровье данных. Организациям следует создавать междисциплинарные группы, объединяющие экспертов в бизнес-областях и технических специалистов.

Эффект от такого объединения, которое Gartner называет «Fusion», гарантирует, что решения по наблюдаемости не просто сообщают количество строк или оценивают актуальность данных, но и связаны с ценностью для бизнеса. Они проверяют такие аспекты, как полнота клиентских записей. Достоверны ли операционные KPI? Обучаются ли модели ИИ/МО на репрезентативных наборах данных?

Внедрение наблюдаемости в межфункциональную команду создает общую ответственность и ускоряет циклы обратной связи. Все видят одну и ту же картину, и каждый вносит свой вклад в достижение достоверных результатов.

5. Измеряйте влияние на бизнес, а не только технические показатели. Заманчиво измерять наблюдаемость в чисто технических терминах, таких как количество сгенерированных оповещений, оценки качества данных или процент отслеживаемых таблиц. Но реальный показатель успеха — это ее влияние на бизнес. Вместо цифр организациям следует задаться вопросом, привело ли это к уменьшению количества неудачных внедрений ИИ. Ускорило ли получение аналитической информации и принятие решений? Снизило ли нормативные или репутационные риски? Укрепило ли доверие к результатам моделей ИИ/МО со стороны руководителей и конечных пользователей?

Формулируя метрики наблюдаемости с точки зрения результатов, руководители в области данных переводят разговор с «ИТ-гигиены» на стратегический фактор успеха ИИ.

Почему эпоха «достаточно хороших» данных закончилась?

Поскольку ИИ внедряется в каждый бизнес-процесс, данные всегда должны быть достоверными, репрезентативными и постоянно отслеживаться. Времена, когда данные считались достаточно хорошими, прошли, потому что ИИ требует большего. Наблюдаемость данных обеспечивает дисциплину для достижения этого, не как точечное решение, а как встроенная в команды DataOps, управления и бизнес-подразделения функция.

Организации, которые последуют этим пяти шагам, обнаружат, что наблюдаемость ускоряет внедрение ИИ, обеспечивает доверие и быстрее раскрывает ценность. Остальные рискуют присоединиться к большинству компаний, сталкивающихся с проектами ИИ, которые заходят в тупик, не достигнув значимых результатов.