Возможности искусственного интеллекта приходят на настольные компьютеры — Microsoft 365 Copilot, Google Gemini с Project Jarvis и Apple Intelligence уже появились (или вот-вот появятся). Опрошенные порталом Dark Reading эксперты обсуждают связанные с этим риски.

ИИ добрался до десктопов.

Microsoft 365 Copilot, дебютировавший в прошлом году, теперь широко доступен. Apple Intelligence только что стала доступна в режиме бета-тестирования для пользователей последних моделей компьютеров Mac, iPhone и iPad. А Google Gemini, как сообщается, скоро сможет выполнять действия через браузер Chrome в рамках разрабатываемой функции агента, получившей название Project Jarvis.

Интеграция больших языковых моделей (LLM), которые просеивают бизнес-информацию и обеспечивают автоматическое создание сценариев действий — так называемые «агентные» возможности — открывает большие перспективы для работников сферы знаний, но также вызывает серьезные опасения у руководителей компаний и директоров по информационной безопасности (CISO). Компании уже сталкиваются с серьезными проблемами, связанными с чрезмерным обменом информацией и неспособностью ограничить права доступа — согласно Gartner «The State of Microsoft 365 Copilot: Survey Results», 40% компаний отложили внедрение Microsoft 365 Copilot на три месяца и более из-за подобных проблем с безопасностью.

Широкие возможности настольных ИИ-систем в сочетании с отсутствием строгой ИБ на многих предприятиях представляют собой значительный риск, считает Джим Алькове, генеральный директор Oleria, платформы управления идентификацией и доступом для облачных сервисов.

«Именно комбинаторика здесь должна заставить всех забеспокоиться, — говорит он. — Эти категориальные риски существуют в более широкой технологии, основанной на моделях естественного языка, и когда вы объединяете их с рисками безопасности среды выполнения, с которыми мы уже имели дело, а также с рисками доступа к информации и возможности аудита, это в конечном итоге оказывает мультипликативный эффект на риск».

Настольный ИИ, вероятно, станет массовым в 2025 г. Компании уже стремятся быстро внедрить Microsoft 365 Copilot и другие технологии настольного ИИ, но только 16% из них уже перешли от первых пилотных проектов к развертывании технологии для всех сотрудников, говорится в исследовании Gartner. Подавляющее большинство (60%) все еще оценивают технологию в рамках пилотного проекта, а пятая часть предприятий еще не дошла до этого и находится на стадии планирования.

Большинство работников с нетерпением ждут появления настольной ИИ-системы, которая поможет им в решении повседневных задач. По данным Gartner, около 90% респондентов считают, что их пользователи будут бороться за то, чтобы иметь доступ к своему ИИ-помощнику, а 89% согласны с тем, что эта технология повышает производительность труда.

Обеспечение безопасности ИИ-помощника

К сожалению, эти технологии являются «черными ящиками» с точки зрения их архитектуры и защиты, а значит, им не хватает доверия. По словам Алькове, компании могут проводить проверки персональных ассистентов в фоновом режиме, ограничивать их доступ к определенным технологиям и проводить аудит их работы — применять меры, которые в настоящее время не имеют аналогов в настольных ИИ-системах.

ИИ-помощники — будь то на настольном компьютере, на мобильном устройстве или в облаке — будут иметь гораздо больше доступа к информации, чем им нужно, говорит он. «Современные технологии не готовы справиться с тем, чтобы мой помощник мог выполнять определенный набор электронных задач от моего имени, и не более того, — сетует Алкове. — Вы можете предоставить своему помощнику доступ к электронной почте и календарю, но вы не можете запретить ему видеть определенные письма и события календаря. Они могут видеть все».

По его словам, такая возможность делегирования задач должна стать частью системы безопасности ИИ-помощников.

Киберриск: социальная инженерия, направленная как на пользователей, так и на ИИ

В отсутствие такой системы безопасности и контроля, скорее всего, последуют атаки.

В начале этого года сценарий атаки с инъекцией подсказок продемонстрировал риски для предприятий. Исследователь безопасности Йоханн Ребергер обнаружил, что непрямая атака с инъекцией подсказок через электронную почту, документ Word или веб-сайт может заставить Microsoft 365 Copilot взять на себя роль мошенника, извлечь персональную информацию и передать ее злоумышленнику. Он первоначально уведомил Microsoft о проблеме в январе и предоставлял компании информацию в течение года. Пока неизвестно, есть ли у Microsoft комплексное исправление проблемы.

Возможность получить доступ к возможностям ОС или устройства делает настольных ИИ-помощников еще одной мишенью для мошенников, которые обычно пытаются заставить пользователя совершить какие-либо действия. Теперь они сосредоточатся на том, чтобы заставить LLM совершать такие действия, считает Бен Клигер, генеральный директор Zenity, компании по безопасности ИИ-агентов.

«LLM дает им возможность выполнять действия от вашего имени без какого-либо конкретного согласия или контроля, — говорит он. — Многие из этих атак с инъекцией подсказок пытаются использовать социальную инженерию системы — чтобы обойти другие средства контроля, которые есть в вашей сети, не прибегая к социальной инженерии человека».

Видимость «черного ящика» ИИ

Большинству компаний не хватает видимости и контроля над безопасностью технологий ИИ в целом. По словам Клигера, для адекватной проверки технологии компаниям необходимо иметь возможность изучать, что делает ИИ-система, как сотрудники взаимодействуют с технологией и какие действия делегируются ИИ.

«Все это должна контролировать организация, а не агентная платформа, — говорит он. — Вам нужно разобраться в этом детальнее и глубже изучить, как на самом деле используются эти платформы и как люди создают эти платформы и взаимодействуют с ними».

Первый шаг к оценке риска Microsoft 365 Copilot, Google Project Jarvis, Apple Intelligence и других подобных технологий — это обеспечение видимости и наличие средств контроля для ограничения доступа ИИ-ассистента на гранулированном уровне, говорит Алькове.

По его словам, вместо допустимости постоянного доступа настольной ИИ-системы к большому массиву данных компаниям необходимо иметь возможность контролировать доступ по конечному получателю данных, его роли и степени важности информации.

«Вопрос в том, как предоставить доступ к части вашей информации и части действий, которые вы обычно выполняете сами, этому агенту, да еще и только на определенный период времени, — отмечает Алькове. — Возможно, вы хотите, чтобы агент совершил действие только один раз, а возможно, он будет делать это только в течение 24 часов, и поэтому убедиться в том, что у вас есть такие средства контроля, очень важно».

Microsoft, в свою очередь, признает наличие проблем с регулированием данных, но утверждает, что они не новы, просто стали более очевидными в связи с появлением ИИ. «Это просто последний призыв к действию для предприятий, которые должны проактивно обеспечивать контроль на основе их уникальных соответствующих политик, отраслевых норм соответствия и допустимых рисков — например, определять, какие сотрудники должны иметь доступ к различным типам файлов, рабочим пространствам и другим ресурсам», — утверждает вендор.