Агенты представляют собой шаг вперед в использовании искусственного интеллекта на предприятиях, однако они привносят новые риски безопасности, пишет на портале ComputerWeekly Авива Литан, заслуженный вице-президент-аналитик компании Gartner.
ИИ продолжает развиваться беспрецедентными темпами, и ИИ-агенты становятся особенно мощной и преобразующей технологией. Эти агенты, основанные на передовых моделях, интегрируются в различные корпоративные продукты, предлагая значительные преимущества в автоматизации и эффективности. Однако ИИ-агенты несут в себе множество новых рисков и угроз безопасности, с которыми организациям необходимо проактивно справляться.
Уникальные риски, связанные с ИИ-агентами
ИИ-агенты — это не просто очередная итерация моделей ИИ; они представляют собой фундаментальный сдвиг в том, как ИИ взаимодействует с цифровой и физической средой. Эти агенты могут действовать автономно или полуавтономно, принимая решения, совершая действия и достигая целей при минимальном вмешательстве человека. Такая автономность открывает новые возможности, но при этом значительно расширяется поверхность угроз.
Традиционно риски, связанные с ИИ, ограничивались входными данными, их обработкой и выходными данными моделей, а также уязвимостями в программных слоях, которые их оркестрируют. Однако в случае с ИИ-агентами риски выходят далеко за эти рамки. Цепочка событий и взаимодействий, инициируемых ИИ-агентами, может быть обширной и сложной, зачастую невидимой для человека. Отсутствие видимости может привести к серьезным проблемам безопасности, несмотря на то что организации пытаются отслеживать и контролировать действия агентов в режиме реального времени.
Среди наиболее серьезных рисков — утечка и раскрытие данных, которые могут произойти в любой точке цепочки событий, управляемых агентами. Безудержное потребление системных ресурсов ИИ-агентами — легитимными или злонамеренными — может привести к сценариям отказа в обслуживании или перегрузки системных ресурсов. Возможно, более опасной является возможность несанкционированной или вредоносной деятельности, осуществляемой введенными в заблуждение автономными агентами, включая «захват агентов» внешними субъектами.
На этом риски не заканчиваются. Ошибки кодирования в ИИ-агентах могут привести к непреднамеренной утечке данных или другим угрозам безопасности, а использование библиотек или кода сторонних разработчиков создает риски для цепочки поставок, которые могут поставить под угрозу как среду ИИ, так и среду, не связанную с ИИ. Жесткое кодирование учетных данных в агентах — распространенная практика в средах разработки low-code/no-code — еще больше усугубляет проблемы управления доступом, облегчая злоумышленникам использование этих агентов в неблаговидных целях.
Три основных элемента управления для снижения рисков, связанных с ИИ-агентами
Учитывая многогранность рисков, связанных с ИИ-агентами, организациям следует внедрить надежные средства контроля для эффективного управления этими угрозами. Первым шагом в снижении рисков, связанных с агентами ИИ, является обеспечение всеобъемлющего обзора и картирование всех действий, процессов, подключений, данных и информационных потоков агентов. Такая видимость крайне важна для выявления аномалий и обеспечения соответствия взаимодействия агентов корпоративным политикам безопасности. Для обеспечения подотчетности и отслеживания необходимо также вести неизменяемый аудиторский след взаимодействия агентов.
Кроме того, необходимо иметь подробную приборную панель, позволяющую отслеживать использование ИИ-агентов, их работу в соответствии с корпоративными политиками и соответствие требованиям безопасности, конфиденциальности и законодательства. Эта панель также должна быть интегрирована с существующими корпоративными системами управления идентификацией и доступом (IAM) для обеспечения доступа с наименьшими привилегиями и предотвращения несанкционированных действий ИИ-агентов.
После того как будет составлена полная карта действий агентов, следует рассмотреть возможность создания механизмов для обнаружения и отметки любых аномальных или нарушающих политику действий. Необходимо установить базовые модели поведения, чтобы выявлять транзакции с отклонениями от нормы, которые затем можно будет устранять с помощью автоматических мер по исправлению ситуации в режиме реального времени.
Учитывая скорость и объем взаимодействия ИИ-агентов, люди не могут в одиночку обеспечить необходимый контроль и исправление ситуации. Поэтому внедряйте инструменты, которые могут автоматически приостанавливать и исправлять неправомерные транзакции, а нерешенные проблемы передавать операторам для ручного анализа.
Окончательный контроль включает в себя применение автоматических мер по устранению обнаруженных аномалий в режиме реального времени. Это может включать такие действия, как редактирование конфиденциальных данных, обеспечение доступа с наименьшими привилегиями и блокирование доступа при обнаружении нарушений. Кроме того, необходимо вести списки индикаторов угроз и файлов, к которым ИИ-агентам запрещен доступ. Для выявления и исправления любых нежелательных действий, вызванных неточностями ИИ-агентов, необходимо организовать непрерывный мониторинг и обратную связь.
По мере интеграции ИИ-агентов в корпоративную среду нельзя игнорировать связанные с ними риски и угрозы безопасности. Организации должны ознакомиться с этими новыми рисками и внедрить необходимые средства контроля для их снижения. Просматривая и отображая все действия ИИ-агентов, выявляя и отмечая аномалии и применяя меры по их устранению в режиме реального времени, компании смогут использовать возможности ИИ-агентов, сохраняя при этом надежные меры безопасности. В этом быстро меняющемся ландшафте проактивное управление рисками — не просто желательно, а необходимо.
