Опрошенные порталом InformationWeek эксперты обсуждают риски, связанные с применением несанкционированного искусственного интеллекта на предприятиях.

В темных недрах каждого предприятия скрываются разработчики и другие технически подкованные люди, которые хотят расширить границы дозволенного. Они не хотят ждать, пока ИТ-служба поставит печать одобрения на новый программный инструмент. Работая тайно и без надзора, они внедряют свои несанкционированные технологии, не обращая внимания на возможные последствия для безопасности, и часто делятся своими инновациями с ничего не подозревающими коллегами. Когда речь идет о теневом внедрении ИИ, ставки возрастают в геометрической прогрессии.

Термин «теневой ИИ» относится к ИИ-программам, используемым без одобрения или ведома руководства организации. CIO и другие руководители ИТ-служб уже много лет борются с теневыми ИТ — использованием любых программных средств, не санкционированных ИТ-руководителями. «Сейчас эта же проблема проявляется на уровне средств ИИ», — говорит Томми Гарднер, технический директор HP Federal.

Теневой ИИ обычно появляется, когда исследователи и инженеры-программисты переходят на новые технологии с открытым исходным кодом, зачастую сначала просто пробуя их, говорит Скотт Золди, директор по аналитике сервиса кредитного скоринга FICO. Потом они начинают использовать их на постоянной основе, не возвращаясь к каким-либо формальным процессам управления моделями ИИ. Организации, сталкивающиеся с теневым ИИ, часто не понимают, кто его создал, как он используется и для каких целей, что может создавать значительные риски.

Опасность впереди

Пожалуй, самая большая опасность, связанная с неучтенным теневым ИИ, заключается в том, что конфиденциальные корпоративные данные могут попасть в чужие руки. Это представляет собой значительный риск для приватности и неприкосновенности частной жизни, предупреждает Ларри Кинкейд, менеджер по консалтингу компании BARR Advisory, предоставляющей решения в области кибербезопасности и соответствия нормативным требованиям. Данные, используемые для обучения моделей ИИ, могут быть перемешаны или, что еще хуже, опубликованы, что даст злоумышленникам доступ к конфиденциальной информации, которая может быть использована для взлома сети или сервисов вашей компании. Кроме того, могут возникнуть серьезные финансовые последствия, если данные подлежат правовой, законодательной или нормативной защите, добавляет он.

По словам Зольди, организации, приверженные ответственному внедрению и использованию ИИ, придерживаются надежных, объяснимых, этических и проверяемых практик. В совокупности такие методы составляют основу системы ответственного управления ИИ. Теневой ИИ происходит вне поля зрения и за рамками системы управления ИИ. Когда он используется для принятия решений или воздействия на бизнес-процессы, он обычно не отвечает даже базовым стандартам управления. «Такой ИИ является неуправляемым, что может сделать его использование неэтичным, нестабильным и небезопасным, создавая неизвестные риски», — предупреждает Зольди.

Может показаться безобидным, когда сотрудник без разрешения загружает на свой рабочий ноутбук программу, работающую на основе ИИ. Проблемы возникают, если эта программа содержит уязвимость, которую можно использовать. «Если ИТ-служба не знает об использовании таких программ, она не может принять соответствующие превентивные меры, чтобы предвосхитить проблему, и данные компании могут быть скомпрометированы», — поясняет Гарднер.

Потенциальные подозреваемые

ИИ — это преобразующая технология, способная кардинально улучшить методы использования данных и управления взаимодействием с клиентами. «При правильном использовании ИИ организации могут принимать решения на основе данных со сверхчеловеческой скоростью, — говорит Золди. — Однако при использовании теневого ИИ его создатели часто не понимают и не предвидят опасностей, которые сопровождают применение ИИ».

Наиболее распространенным источником теневого ИИ являются трудолюбивые сотрудники или команды, которые загружают одно или несколько несанкционированных приложений с благородным намерением использовать ИИ для решения насущных проблем или изучения новых процессов. Однако, несмотря на то, что использование теневых ИИ-инструментов для повышения производительности или редактирования функций для выполнения задачи может показаться относительно безобидным, при несоблюдении формального процесса утверждения могут возникнуть серьезные уязвимости. «Хотя эти инструменты могут быть отличным вариантом решения проблемы в краткосрочной перспективе, они представляют собой потенциальную проблему безопасности для организации», — отмечает Гарднер.

Защитные меры

Помимо обучения сотрудников мерам безопасности, организациям, стремящимся снизить риски, связанные с теневым ИИ, следует установить четкое управление с помощью политик допустимого использования, советует Кинкейд. «Убедитесь, что использование ИИ рассматривается в рамках формальных оценок рисков», — добавляет он.

Золди подчеркивает важность осведомленности всего предприятия об опасности теневого ИИ: «ИИ может использоваться в любом отделе — от юридического и кадрового до разработки ПО, продаж, бизнес-планирования, поддержки клиентов и т. д.».

По его словам, также важно, чтобы доступ к алгоритмам ИИ осуществлялся через частную сеть, поддерживаемую контролируемыми методами обеспечения безопасности. «Это означает, что в качестве первой линии защиты необходимо блокировать доступ к Open Source», — поясняет он. Пользователи, желающие использовать ИИ с открытым кодом, должны пройти контролируемый процесс проверки.

Одно возможное преимущество

Несмотря на опасность, теневой ИИ может принести значительную пользу, однако его необходимо обнаружить, идентифицировать и нейтрализовать. «Он может быть полезен в качестве отправной точки, на которой можно строить и модифицировать идеи применения ИИ», — утверждает Кинкейд.