Издатели и другие поставщики творческого контента теперь могут блокировать веб-сканеры (краулеры) искусственного интеллекта (AI crawlers) от доступа к их интеллектуальной собственности с помощью новых инструментов от крупнейшего в мире CDN-провайдера Cloudflare, сообщает портал ComputerWeekly.
С 1 июля пользователи Cloudflare могут по умолчанию блокировать доступ ИИ-краулеров к их веб-контенту без разрешения и денежной компенсации, чтобы не позволить моделям ИИ «выскребать» и использовать чужой контент в своих тренировочных базах данных или в других целях.
Использование интеллектуальной собственности, такой как произведения искусства, художественная литература, музыка, новости, видео и другие формы творческой деятельности и самовыражения, для обучения моделей ИИ без разрешения или компенсации стало основным камнем преткновения для творческих людей во всем мире, вызвало волну анти-ИИ настроений и привело к многочисленным судебным искам в разных странах.
Признавая потенциальную угрозу, которую модели ИИ представляют для фундаментальных аспектов человеческого существования, Cloudflare заявила, что ее новые настройки означают «первый шаг» к более устойчивому будущему как для создателей контента, так и для новаторов в области ИИ.
«Если Интернет хочет выжить в эпоху ИИ, мы должны дать издателям контроль, которого они заслуживают, и построить новую экономическую модель, которая будет работать для всех — создателей, потребителей, будущих разработчиков ИИ и будущего самого Интернета, — сказал Мэтью Принс, соучредитель и генеральный директор Cloudflare. — Оригинальный контент — это то, что сделало Интернет одним из величайших изобретений прошлого века, и очень важно, чтобы создатели контента продолжали его делать. ИИ-краулеры беспрепятственно выскребают контент. Наша цель — вернуть власть в руки создателей контента и в то же время помочь компаниям, использующим ИИ, внедрять инновации. Речь идет о защите будущего свободного и динамичного Интернета с помощью новой модели, которая работает для всех».
Cloudflare, которая обрабатывает более 15% мирового интернет-трафика через свою сеть доставки контента (CDN), отмечает, что Интернет уже давно работает на основе простого обмена, при котором поисковые системы индексируют контент и направляют пользователей на сайты для получения трафика и доходов от рекламы. Хотя эта система и не идеальна, она достаточно стабильно вознаграждает как создателей контента, так и веб-пользователей.
Однако появление ИИ-краулеров нарушило эту сделку, поскольку, выскребая контент для улучшения работы моделей генеративного ИИ (GenAI) без направления пользователей к источнику, краулеры лишают создателей контента просмотров и доходов и заставляют их терять стимул к дальнейшей работе в ущерб всему обществу.
Cloudflare еще в сентябре 2024 г. ввела опцию блокировки веб-краулеров одним щелчком мыши — и заявила, что к настоящему моменту более миллиона клиентов воспользовались этой опцией. Введение модели, основанной на разрешениях, добавляет в уравнение более тонкий контроль.
Новые настройки позволят владельцам сайтов выбирать, хотят ли они, чтобы ИИ-краулеры имели доступ к их контенту, и решать, как ИИ-компаниям разрешено его использовать. ИИ-компании, в свою очередь, смогут указывать цель использования своих краулеров — то есть, используются ли они для обучения, вывода или поиска — чтобы помочь владельцам сайтов решить, разрешить ли их использование.
Всем новым владельцам доменов, регистрирующимся в Cloudflare, теперь будет задаваться вопрос о том, хотят ли они разрешить или заблокировать ИИ-краулеры, при этом по умолчанию будет установлен контроль их деятельности, что означает, что клиенты должны сделать явный выбор в пользу их разрешения. Существующие клиенты могут в любой момент проверить свои настройки и разрешить доступ ИИ-краулеров.
Многие клиенты Cloudflare уже подписались на этот сервис, а многие известные издатели назвали это «переломным моментом» для создателей контента. Другие говорят, что это может помочь положить конец спешке среди новостных организаций по внедрению непопулярных платных бизнес-моделей.
«Если ИИ-компании больше не могут брать все, что хотят, бесплатно, это открывает двери для устойчивых инноваций, основанных на разрешении и партнерстве, — сказал Роджер Линч, генеральный директор Condé Nast. — Это важнейший шаг на пути к созданию справедливого обмена ценностями в Интернете, который защищает авторов, поддерживает качественную журналистику и заставляет ИИ-компании нести ответственность».
По словам Кристин Хайтманн, директора по доходам агентства The Associated Press (AP), это важный проект, который поможет обеспечить защиту интеллектуальной собственности и справедливое вознаграждение всех создателей контента за их работу.
Плати или убирайся с моего сайта
В то же время Cloudflare объявила о запуске частной бета-версии другого инструмента, получившего название Pay Per Crawl.
Идея Pay Per Crawl возникла в ходе бесед с создателями контента при разработке инструмента для блокировки краулеров. Cloudflare заявила, что, хотя все согласились с тем, что создатели должны иметь возможность блокировать или разрешать любые краулеры ИИ в зависимости от их желания, создатели выразили «последовательное желание» третьего пути, при котором ИИ-краулеры имели бы доступ к их контенту, но за деньги.
Хотя теоретически это уже возможно, для этого нужно знать нужных людей в ИИ-компаниях и договариваться с ними, что является проблемой для творческих людей, которым может не хватить масштаба и рычагов влияния, чтобы добиться этого.
Инженеры Cloudflare Уилл Аллен и Саймон Ньютон заявили, что теперь им удалось найти способ, позволяющий креативщикам взимать плату с ИИ. «Мы рады помочь смахнуть пыль с забытой части Интернета: кода HTTP-ответа 402, — написали они в блоге. — Чтобы создать основу для платного доступа к контенту, плата за краулинг интегрируется в существующую веб-инфраструктуру, используя коды состояния HTTP и установленные механизмы аутентификации».
По их словам, каждый раз, когда ИИ-краулер запрашивает контент, он сообщает о своем намерении заплатить и получает либо ответ об успешном доступе (статус-код 200), либо ответ 402 Payment Required с указанием цены. При этом Cloudflare выступает в качестве Merchant of Record для Pay Per Crawl, а также предоставляет базовую техническую инфраструктуру.
Разработчики сервиса надеются, что Pay Per Crawl станет предвестником фундаментальных изменений в способах контроля контента в Интернете, позволив авторам продолжить свою работу.
Другие будущие варианты использования инструмента могут помочь поддержать различные тарифы для разных типов контента или разных ИИ-краулеров, например. Аллен и Ньютон считают, что инструмент может приобрести еще больший потенциал по мере развития агентного ИИ, когда люди, обращающиеся к агентам ИИ, смогут выделять им определенный бюджет в зависимости от конкретной темы — например, больше для юридической консультации, меньше для заказа столика в ресторане. Они представляют себе будущее, в котором интеллектуальные ИИ-агенты «смогут программно договариваться о доступе к цифровым ресурсам».
