От проблем безопасности и конфиденциальности до дезинформации и предвзятости, большие языковые модели наряду с выгодой несут с собой риски, пишут на портале Enterprisers Project ведущие исследователи HiddenLayer Эоин Викенс и Марта Янус.

В последнее время наблюдается невероятный прогресс в области искусственного интеллекта — в основном благодаря достижениям в разработке больших языковых моделей (large language models, LLM). Они являются сердцем таких инструментов генерации текста и кода, как ChatGPT, Bard, Copilot и др.

Сегодня эти модели находятся на пути к внедрению во всех отраслях. Но имеются серьезные опасения по поводу того, как они создаются и используются — и как ими можно злоупотреблять. Некоторые страны даже решили применить радикальный подход и временно запретить конкретные LLM до введения надлежащего регулирования.

Давайте рассмотрим некоторые реальные негативные последствия использования инструментов на основе LLM и некоторые стратегии по их смягчению.

1. Вредоносный контент

LLM могут повысить продуктивность во многих отношениях. Их способность интерпретировать наши запросы и решать довольно сложные проблемы означает, что мы можем переложить рутинные, требующие много времени задачи на нашего любимого чатбота и просто проверить результаты.

Но, конечно, с большой силой приходит и большая ответственность. Хотя LLM могут создавать полезные материалы и ускорять разработку ПО, они также могут обеспечить быстрый доступ к вредной информации, ускорить рабочие процессы злоумышленников и даже генерировать вредоносный контент, такой как фишинговые письма и вредоносные программы. Термин «скрипт-кидди» (script kiddie, хакер-любитель, полагающийся на сторонние программы и скрипты) приобретает совершенно новый смысл, когда барьер для входа так же низок, как написание хорошо составленной подсказки для чатбота.

Хотя существуют способы ограничения доступа к объективно опасному контенту, они не всегда осуществимы и эффективны. Если говорить о хостируемых сервисах, таких как чатботы, то фильтрация контента может помочь хотя бы замедлить неопытного пользователя. Внедрение сильных фильтров контента должно быть обязательным, но они не являются пуленепробиваемыми.

2. Ввод специальных подсказок

Специально созданные подсказки могут заставить LLM игнорировать фильтры содержимого и выдавать противозаконный результат. Эта проблема характерна для всех LLM, но в скором времени она будет усиливаться по мере того, как эти модели будут подключаться к внешнему миру, например, в виде плагинов для ChatGPT. Это может позволить чатботам «оценивать» созданный пользователем код, что может привести к выполнению произвольного кода (ACE). С точки зрения безопасности оснащение чатбота такой функциональностью весьма проблематично.

Чтобы смягчить эту проблему, важно понимать возможности вашего решения на базе LLM и то, как оно взаимодействует с внешними конечными точками. Определите, подключено ли оно к API, ведет ли аккаунт в социальных сетях или взаимодействует с вашими клиентами без контроля, и оцените вашу модель работы с потоками соответствующим образом.

Хотя в прошлом инъекции через подсказки/запросы могли казаться несущественными, сейчас эти атаки могут иметь вполне реальные последствия, поскольку они начинают выполнять сгенерированный код, интегрироваться во внешние API и даже читать вкладки вашего браузера.

3. Конфиденциальность данных/нарушение авторских прав

Обучение больших языковых моделей требует огромных объемов данных, некоторые модели насчитывают более полутриллиона параметров. При таких масштабах понимание происхождения, авторства и статуса авторского права — задача гигантская, если не невозможная. Непроверенный обучающий набор может привести к тому, что модель станет источником утечки конфиденциальных данных, неверного цитирования или плагиата защищенного авторским правом контента.

Законы о конфиденциальности данных, связанные с использованием LLM, также очень туманны. Как мы знаем из практики социальных сетей, если что-то является бесплатным, есть шанс, что продуктом становятся пользователи. Стоит помнить, что если мы просим чатбота найти ошибку в нашем коде или написать конфиденциальный документ, мы отправляем эти данные третьей стороне, которая в итоге может использовать их для обучения модели, рекламы или конкурентного преимущества. Утечка данных через подсказки ИИ может быть особенно опасной для бизнеса.

Поскольку сервисы на основе LLM интегрируются в такие инструменты повышения продуктивности, как мессенджеры и средства совместной работы, очень важно внимательно ознакомиться с политикой конфиденциальности поставщиков, понять, как могут быть использованы подсказки ИИ, и соответствующим образом регулировать применение LLM на рабочем месте. Что касается защиты авторских прав, то нам необходимо регулировать получение и использование данных с помощью получения согласия или специального лицензирования, не препятствуя открытому и в значительной степени свободному Интернету, каким он является сегодня.

4. Дезинформация

Хотя LLM могут убедительно притворяться умными, на самом деле они не «понимают» того, что они производят. Вместо этого, их валютой являются вероятностные отношения между словами. Они не могут отличить факт от вымысла — некоторые результаты могут показаться очень правдоподобными, но оказаться уверенно сформулированной неправдой. Примером этого может служить ChatGPT, фальсифицирующий цитаты и даже целые статьи, как недавно на собственном опыте убедился один пользователь Twitter.

Результаты работы инструментов LLM всегда следует воспринимать с долей сомнения. Эти инструменты могут оказаться невероятно полезными при решении огромного количества задач, но человек должен участвовать в проверке точности, полезности и общей разумности их ответов. В противном случае нас ждет разочарование.

5. Вредные советы

При общении в Интернете становится все труднее определить, с кем вы говорите — с человеком или с машиной, и у некоторых субъектов может возникнуть соблазн воспользоваться этим. Например, в начале этого года одна технологическая компания в сфере охраны психического здоровья призналась, что некоторые из ее пользователей, обращавшихся за онлайн-консультацией, неосознанно общались не с человеком-добровольцем, а с ботом на базе GPT3. Это вызвало этическую обеспокоенность по поводу использования LLM в психиатрической и любой другой сфере, которая зависит от интерпретации человеческих эмоций.

В настоящее время практически отсутствует нормативный надзор, гарантирующий, что компании не смогут использовать ИИ подобным образом с явного согласия конечного пользователя или без него. Более того, недоброжелатели могут использовать убедительных ИИ-ботов для шпионажа, мошенничества и других незаконных действий.

У ИИ нет эмоций, но его реакция может задеть чувства людей или даже привести к более трагическим последствиям. Безответственно полагать, что ИИ-решение может адекватно интерпретировать эмоциональные потребности человека и реагировать на них ответственно и безопасно.

Использование LLM в здравоохранении и других чувствительных областях должно тщательно регулироваться, чтобы предотвратить любой риск причинения вреда пользователям. Поставщики услуг на основе LLM должны всегда информировать пользователей о масштабах вклада ИИ в услугу, а взаимодействие с ботом всегда должно быть выбором, а не происходить по умолчанию.

6. Предвзятость

ИИ-решения хороши лишь настолько, насколько хороши данные, на которых они обучаются. Эти данные часто отражают наши человеческие предубеждения в отношении политических партий, этнических групп, полов и других демографических характеристик. Предвзятость приводит к негативным последствиям для затронутых групп, когда модель принимает несправедливое решение, они могут быть как малозаметными, так и потенциально трудно устранимыми. Модели, обученные на непроверенных данных из Интернета, всегда будут отражать человеческие предубеждения; модели, которые постоянно обучаются на основе взаимодействия с пользователем, также склонны к преднамеренным манипуляциям.

Чтобы снизить риск дискриминации, поставщики услуг LLM должны тщательно оценивать свои наборы обучающих данных на предмет дисбаланса, который может привести к негативным последствиям. Модели машинного обучения также должны периодически проверяться, чтобы убедиться, что прогнозы остаются справедливыми и точными.

Большие языковые модели полностью пересматривают способы взаимодействия с ПО, внося бесчисленные улучшения в наши рабочие процессы. Однако в условиях нынешнего отсутствия значимых нормативных актов, касающихся ИИ, и скудности мер безопасности, направленных на модели МО, повсеместное и поспешное внедрение LLM, скорее всего, приведет к значительным негативным последствиям. Поэтому крайне важно оперативно регулировать и повышать уровень безопасности этой ценной технологии.