Нерегулируемый «зомби-ИИ» представляет угрозу для производительности, репутации и соответствия нормативным требованиям, что подчеркивает настоятельную необходимость в масштабируемом, автоматизированном регулировании для защиты и оптимизации инвестиций в ИИ, пишет на портале ITPro Today Кьелл Карлссон, руководитель отдела ИИ-стратегии Domino Data Lab.

По мере того как компании все активнее внедряют ИИ и МО во все большее количество подразделений организации, из тени появляется скрытый риск — зомби-ИИ. Это рискованные приложения ИИ, которые были разработаны небрежно, без тщательного регулирования и продолжают работать без значимого надзора и контроля. Они могут выглядеть как триумф низовой изобретательности и быстрых инноваций, но на самом деле каждое из них несет в себе болезнь, которая обрекает организацию на снижение производительности и, в конечном счете, на обременительный финансовый, репутационный и юридический ущерб.

Организациям необходимо принять срочные меры, чтобы предотвратить распространение зомби-ИИ, пока он не захлестнул их, не погубил их инициативы в области ИИ и не нанес более серьезный ущерб их конкурентоспособности. Лекарство заключается во внедрении передовых методов регулирования ИИ, которые позволяют заранее определить бизнес-, юридические и этические риски, обеспечить их отслеживание и мониторинг на всех этапах разработки и развертывания, проверить качество и производительность, а также принять меры по снижению рисков и обеспечению работоспособности ИИ-приложений.

Роящиеся толпы зомбированных ИИ-приложений

Зомби-ИИ возникает из-за отсутствия регулирования. Без него проектам слишком легко игнорировать потенциальные риски, использовать конфиденциальные данные, применять небезопасные библиотеки, увеличивать неконтролируемые расходы на инфраструктуру и запускать в производство некачественные и ненадежные модели. После развертывания они работают без контроля и надзора, часто определяя критически важные решения в таких областях, как обслуживание клиентов, выявление мошенничества и оптимизация цепочек поставок. Производительность этих моделей неизбежно снижается, поскольку не была создана документация и обеспечена воспроизводимость, необходимые для их постоянного совершенствования, и рано или поздно произойдет катастрофический сбой, когда модель столкнется с одной из своих неустранимых уязвимостей.

Пример из практики: алгоритм покупки жилья от Zillow

Каноническим примером зомби-ИИ являются модели, использованные риэлторской компаний Zillow для оценки стоимости домов, которые она покупала и продавала напрямую. Эти модели не учитывали должным образом риск быстрых изменений на рынке жилья. В сочетании с недостаточным надзором за работой этих моделей это привело к тому, что Zillow систематически переплачивала за дома. В итоге компании пришлось списать 304 млн. долл. в III квартале 2021 г., закрыть подразделение по покупке жилья Zillow Offers и уволить 25% сотрудников.

Подобно «настоящим» зомби, которых легко победить поодиночке, но невозможно остановить массово, риски, связанные с зомби-ИИ, усугубляются быстрым ростом применения ИИ в организациях. Ущерб от неэффективных моделей был минимальным, пока производственные модели ИИ и MО были немногочисленны или ограничивались малозначимыми сценариями использования. За ними могли адекватно наблюдать небольшие команды, которые их создавали. Сегодня эти команды все чаще становятся жертвами собственного успеха, не имея возможности контролировать и управлять множеством ИИ-проектов, реализуемых компанией, и эти модели теперь используются в критически важных приложениях по всему бизнесу.

Проблема зомби-ИИ также стала сложнее из-за огромной скорости инноваций в области ИИ и растущих усилий по регулированию ИИ. Достижения в области генеративного ИИ привели к росту числа новых сценариев использования, технологий и незрелых предложений, а также к появлению множества новых галлюцинаций, рисков для конфиденциальности, безопасности, стоимости и, иногда, этических рисков. Последовавшая за этим волна регулирования ИИ (в 2024 г. 35 штатов США приняли в той или иной форме новые законы об ИИ, а в ЕС был принят свой Закон об ИИ) еще больше увеличивает правовые и регулятивные риски.

В общем, риски, связанные с зомби-ИИ, как никогда высоки. Организации разрабатывают и внедряют решения на основе ИИ и МО в резко ускоренном темпе. Они применяют ИИ новыми, непроверенными способами, используя разобщенную экосистему новых, незрелых технологий, и при этом вынуждены ориентироваться в развивающейся нормативной среде. Зомби-ИИ теперь может нанести гораздо более ощутимый ущерб в виде репутационного вреда и штрафов со стороны регулирующих органов, а также невидимый ущерб в виде ухудшения показателей бизнеса и порочного круга стагнации и недостаточного инвестирования в такие преобразующие технологии, как ИИ.

Регулирование как лекарство от бесконтрольного ИИ

Противоядием от зомби-ИИ является строгое, масштабируемое регулирование ИИ на протяжении всего жизненного цикла ИИ-приложений — от разработки до развертывания и сопровождения. Однако многие организации испытывают трудности с внедрением эффективного регулирования. Большинство усилий ограничивается установлением принципов и рамок высокого уровня без углубления в конкретные действия, необходимые для управления рисками. Регулирование — это не просто принципы, советы или аудит, оно требует действий на всех этапах жизненного цикла ИИ.

Ведущие команды по ИИ в таких высокорегулируемых секторах, как финансовые услуги и биофарма, предлагают отправную точку для регулирования ИИ. Эти команды построили сложные процессы регулирования, которые сосредоточены на ключевых действиях в течение всего жизненного цикла ИИ, от оценки рисков и контроля доступа до постоянного мониторинга и исправления ситуации.

Подобно этим передовым командам, всем организациям, стремящимся регулировать ИИ, нужны:

  1. Единая видимость. Как минимум, ИИ-проекты должны регистрироваться, отслеживаться и контролироваться на протяжении всего жизненного цикла. Организациям следует внедрить системы, обеспечивающие видимость производительности моделей, рисков и соответствия требованиям по всем проектам и развернутым моделям, как в облаке, так и онпремис.
  2. Аудируемость и воспроизводимость. Команды должны иметь возможность воспроизвести условия, в которых разрабатывались и внедрялись проекты ИИ. Для этого необходимо собирать подробную информацию о данных, коде и процессах, использовавшихся при разработке моделей, и предоставлять ее для постоянного совершенствования и устранения недостатков, если модели не работают.
  3. Управление доступом. Управление доступом к данным, моделям, коду и инфраструктуре имеет решающее значение для управления рисками, связанными с конфиденциальностью, безопасностью, стоимостью, а зачастую и с соблюдением правовых норм. Организации должны иметь автоматизированные средства контроля для управления доступом и предотвращения несанкционированного использования.
  4. Управление политиками и их соблюдение. Организациям необходимо обеспечить соответствие моделей ИИ изменяющимся нормативным требованиям. Это требует автоматизации для приведения политик в соответствие с нормативно-правовой базой, такой как Закон ЕС об ИИ, и последовательного применения этих политик в организации.

В наиболее продвинутых командах такие методы регулирования уже применяются, но даже они сталкиваются с проблемой ручного труда, финансовых и временных затрат на регулирование, особенно при растущем портфеле сценариев использования ИИ. Настоящая проблема для всех организаций заключается в масштабировании этих процессов для управления сотнями ИИ-проектов в разрозненных средах по всей организации. Решение кроется в автоматизации — сокращении ручного труда, который в настоящее время подкашивает самые лучшие ИИ-команды, обеспечив при этом внимание и контроль со стороны человека.

Победа над зомби-ИИ с помощью масштабируемого регулирования

Зомби-ИИ — это постоянно растущий риск для организаций, который становится все более острым по мере ускорения внедрения ИИ и который компании больше не могут позволить себе игнорировать. Чтобы остановить его распространение, организациям необходимо выйти за рамки высокоуровневых структур и комитетов по этике и внедрить регулирование с нуля, чтобы обеспечить безопасность, точность и соответствие приложений ИИ нормативным требованиям.

Схема успешного регулирования ИИ уже существует благодаря передовым ИИ-командам в регулируемых отраслях. Осталось только, чтобы организации применяли эти методы более широко и использовали автоматизацию, чтобы сделать регулирование масштабируемым. Таким образом, они не только снизят риски, связанные с зомби-ИИ, но и полностью раскроют потенциал своих инвестиций в ИИ, способствуя росту инноваций, доверия и влияния на весь бизнес.