Искусственный интеллект иногда выдает действительно глупые рекомендации. В таких случаях окончательное решение должен принимать человек, считают опрошенные порталом InformationWeek эксперты.

ИИ, несмотря на всю свою когнитивную мощь, иногда может прийти к очень глупым и даже опасным выводам. Когда это происходит, исправлять ошибки должны люди. Но как, когда и кто должен отменять решения ИИ?

Люди почти всегда должны иметь возможность отменять решения ИИ, говорит Нимрод Партуш, вице-президент по науке о данных компании CYE, специализирующейся на технологиях кибербезопасности. «Системы ИИ могут совершать ошибки или делать ошибочные выводы, которые иногда называют галлюцинациями, — отмечает он. — Возможность человеческого контроля укрепляет доверие».

Отказ полагаться на решения ИИ является совершенно неоправданным в некоторых экстремальных ситуациях, когда человеческая реакция, как известно, менее надежна — например, при управлении самолетом, летящим со скоростью 5 махов. «В этих редких случаях нам стоит отдать предпочтение ИИ в режиме реального времени, а затем тщательно проанализировать принятые решения», — говорит Партуш.

Хизер Бассетт, главный медицинский специалист компании Xsolis, специализирующейся на технологиях ИИ в здравоохранении, выступает за создание систем с участием человека, особенно при работе с генеративным ИИ. Однако «хотя люди должны сохранять возможность отменять решения ИИ, они должны следовать структурированным рабочим процессам, которые фиксируют обоснование отмены», — говорит она. По ее словам, ситуативные решения рискуют подорвать последовательность и эффективность, которые должен обеспечить ИИ. «Благодаря четким процессам организации могут использовать сильные стороны ИИ, сохраняя при этом человеческое суждение для нюансов или сценариев с высокими ставками», — отмечает Бассетт.

Обнаружение решений

Для обнаружения неверного решения ИИ требуется надежная система мониторинга, позволяющая убедиться, что модель соответствует ожидаемым показателям эффективности. «Это включает в себя реализацию конвейеров оценки производительности для обнаружения аномалий, таких как дрейф модели или ухудшение ключевых показателей, таких как точность, прецизионность или отзыв», — говорит Бассетт. Например, определенное изменение пороговых значений производительности должно инициировать оповещения и протоколы смягчения последствий«. Проактивный мониторинг должен гарантировать, что любые отклонения будут выявлены и устранены до того, как они смогут ухудшить качество вывода или повлиять на конечных пользователей. «Такой подход гарантирует надежность системы и обеспечивает соответствие операционным целям», — отмечает она.

Эксперты и дизайнеры ИИ, как правило, хорошо подготовлены к выявлению технических ошибок, но и обычные пользователи могут помочь. «Если многие пользователи выражают озабоченность или замешательство — даже в тех случаях, когда ИИ технически корректен, — это свидетельствует о несоответствии между результатами работы системы и их представлением, — говорит Партуш. — Такая обратная связь очень важна для улучшения не только модели, но и способа представления результатов ИИ».

Лица, принимающие решения

По словам Мелиссы Руцци, директора по ИИ SaaS-компании AppOmni, всегда уместно, чтобы человек мог отменять решения ИИ: «Главное, чтобы человек обладал достаточными знаниями по теме, чтобы понять, почему решение должно быть отменено».

Партуш согласен. По его словам, конечный пользователь лучше всего подходит для принятия окончательного решения: «В большинстве случаев не стоит лишать человека полномочий — это может подорвать доверие к системе». Еще лучше, говорит Партуш, объединить мнение пользователей с отзывами экспертов и дизайнеров ИИ, что может быть чрезвычайно ценным, особенно в сценариях с высокими ставками.

Решение об отмене ИИ-выводf зависит от типа вывода, показателей эффективности модели и риска, связанного с принятием решения. «Для высокоточных моделей — скажем, более 98% — может потребоваться одобрение руководителя перед отменой решения», — говорит Бассетт. Кроме того, в таких ответственных областях, как здравоохранение, где неверное решение может привести к травме или смерти, необходимо создать среду, позволяющую пользователям высказывать опасения или отменять действия ИИ, не опасаясь последствий, советует она: «Приоритет безопасности способствует формированию культуры доверия и ответственности».

По словам Партуша, если решение было отменено, важно задокументировать инцидент, расследовать его, а затем передать полученные данные обратно ИИ для переобучения. «Если ИИ неоднократно демонстрирует неадекватность суждений, может потребоваться приостановить его использование и начать процесс глубокой переработки или реинжиниринга», — отмечает он.

В зависимости от сложности темы может потребоваться проверка ответа другими ИИ, так называемыми «ИИ-судьями», говорит Руцци. Если речь идет о данных, существуют и другие подходы, например проверка данных в подсказке. В конце концов, можно обратиться к экспертам, чтобы они проанализировали ответ и затем использовали такие методы, как инжиниринг подсказок или обучение с подкреплением, для корректировки модели.

Создание доверия

Создание доверия к ИИ требует прозрачности и непрерывной обратной связи. «ИИ, который регулярно подвергается испытаниям и совершенствуется в сотрудничестве с людьми, в конечном итоге будет более надежным, заслуживающим доверия и эффективным, — говорит Партуш. — Если люди будут контролировать и информировать друг друга, это будет наилучшим способом продвижения вперед как для инноваций, так и для безопасности».