Искусственному интеллекту нельзя доверять, что он все сделает правильно, поэтому вам нужны люди. Вам также нужен ИИ, контролирующий ИИ, для обеспечения скорости и масштаба, считают опрошенные порталом InformationWeek эксперты.

Ошибки ИИ, будь то галлюцинации или принятие сомнительных решений, отрезвляют. Это одна из причин, по которой люди должны быть в курсе всех событий. Однако ИИ может работать с такой скоростью и в таких масштабах, которые физически невозможны для человека, и при этом выявлять исключения, требующие проверки и надзора со стороны человека. Такое партнерство помогает убедиться, что ИИ выполняет свою работу правильно.

«Человек не может читать и оценивать информацию 24 часа в сутки 7 дней в неделю и предпринимать действия за миллисекунды. Вот почему тест Тьюринга больше не применяется, и теперь мы говорим о тех же возможностях ИИ, что и у человека, но с увеличением масштаба, скорости и точности в 100 тыс. раз, потому что он извлекает гораздо больше информации, — говорит Мохамед Элгенди, генеральный директор и соучредитель платформы тестирования ИИ/МО Kolena. — Большие языковые модели (LLM) используются для оценки моделей до их развертывания и в качестве защитных ограждений после их развертывания».

Например, компания может захотеть установить для чатбота простое ограничение, которое не позволит ему упоминать конкурентов, или более сложные ограждения, связанные с насилием, галлюцинациями и взломами. В сфере финтеха модели не могут давать финансовые советы в финтех-приложениях, поскольку это незаконно.

«Идея использования ИИ для мониторинга и регулирования других систем ИИ — важнейший шаг в обеспечении эффективности и этичности этих систем, — говорит Кэш Меррилл, основатель софтверной компании Zibtek. — В настоящее время для мониторинга ИИ используются модели машинного обучения, которые предсказывают поведение других моделей (мета-модели). Эти системы анализируют закономерности и результаты работы операционного ИИ, чтобы обнаружить аномалии, предубеждения или потенциальные сбои до того, как они станут критическими».

Преимущества мониторинга ИИ включают в себя уровень масштабируемости, которого не может достичь человек, более высокий уровень согласованности, поскольку ИИ не требует отдыха, и глубину анализа, основанную на более глубоких закономерностях и корреляциях, которые могут быть упущены аналитиками-людьми.

Взгляните на мониторинг с точки зрения тестирования

ИИ воплощается в ПО, и этому ПО, как и любому другому, необходимо тестирование, чтобы убедиться, что ИИ делает то, для чего он был создан. Например, все больше приложений обращаются к API LLM, но проблема потребления ИИ заключается в том, что кто-то должен его измерять. Более точного прогнозирования здесь можно добиться с помощью ИИ, использующего структурированные временные данные.

«Вы можете пытаться постоянно следить за потреблением ИИ, пытаться использовать структурированные данные временных рядов, чтобы понять закономерности в них, чтобы делать прогнозы, понимать аномалии или понимать взаимосвязь между точками изменений», — говорит Деварврат Шах, генеральный директор и соучредитель Ikigai Labs и профессор в области науки о данных и статистики Массачусетского технологического института.

По его словам, также необходимо использовать ИИ для проверки гипотез.

Например, в обществе существуют определенные нормы, которые должны соблюдаться, и ИИ уже используется для обеспечения соответствия нормативным требованиям. Однако ИИ также можно использовать для определения того, какие нормы действительны, а какие нет. Пользователь предъявляет ИИ норму, а ИИ определяет, можно ли для этой нормы сформулировать тест проверки гипотезы или нет. Если да, то с помощью данных можно будет постоянно проверять эту норму. ИИ также может сообщить пользователю, какие данные ему нужны.

Зульфикар Рамзан, главный научный сотрудник и вице-президент по продуктам и разработкам компании Aura, говорит о дефиците прозрачности, особенно для сложных систем, поскольку они слишком сложны для человеческого понимания. «Существует множество замечательных исследований в области объяснимого ИИ, но когда дело доходит до более продвинутых алгоритмов, мы еще не приблизились к тому уровню, который должен быть в производственных средах», — полагает он.

Проблемы, связанные с надзором за ИИ со стороны ИИ

По мнению Меррилла, существует три проблемы, связанные с использованием ИИ для контроля ИИ. Первая — сложность саморегулирования. Разработка ИИ, эффективно контролирующего другие ИИ, предполагает комплексное рекурсивное обучение, которое может быть сложным для реализации и поддержания.

Вторая — чрезмерная зависимость от технологий. Существует риск стать чрезмерно зависимым от технологических решений, потенциально пренебрегая человеческим суждением, которое имеет решающее значение для контроля и контекстуализации решений ИИ.

Третье — это этические аспекты и вопросы конфиденциальности. Использование ИИ для мониторинга других систем ИИ вызывает серьезные опасения по поводу нарушения конфиденциальности и слежки, особенно в отношении того, кто контролирует эти системы, и того, как они используются.

Другая проблема заключается в том, возможно ли понять, что происходит на самом деле, и именно поэтому так важен объяснимый ИИ.

«Не нужно быть доктором наук в области машинного обучения, чтобы понять простые алгоритмы, такие как деревья решений и случайные леса. Однако когда вы имеете дело с действительно неограниченной средой, где вы взаимодействуете с пользовательскими данными, которые могут поступать откуда угодно и быть какими угодно, надежно уловить каждый из этих сценариев использования может быть проблематично», — говорит Рамзан.

Первое, с чего, по его мнению, следует начать организациям, — это использование ИИ для мониторинга данных, поскольку от этого зависит точность выводов. «Вам нужно заранее изучить свои данные, потому что если вы этого не сделаете, то неважно, что произойдет в дальнейшем, — говорит Рамзан. — Второй момент связан с разработкой функций и знанием того, что искать в данных. Вот где важно иметь экспертизу в предметной области. Затем вы сможете начать программный поиск экземпляров такого типа. Тогда и только тогда классификатор будет иметь значение».

Будущее надзора над ИИ

OpenAI открыто говорит о своем желании и стремлении создать ИИ общего назначения (AGI), что представляет собой более сложную задачу, чем нынешний узкий ИИ (ANI), который хорошо справляется с одной конкретной задачей.

Элгенди ожидает, что AGI дебютирует в 2025 г. «Когда речь идет об AGI, вы хотите, чтобы он не учился некоторым вещам, потому что изучение информации из Интернета приводит к галлюцинациям и необходимости принимать соответствующие решения, — говорит он. — Мониторинг будет состоять из двух частей: проверки того, что ИИ выполняет то, для чего он предназначен, и предоставления человеку возможности понять детали того, как каждое действие приводило к конечному результату, когда он запутывался».

Меррилл видит рост числа автономных систем ИИ, способных к самокоррекции и принятию более тонких решений на основе этики. «Достижения в области объяснимого ИИ, вероятно, сыграют важную роль в том, чтобы сделать мониторинг ИИ более прозрачным и понятным, что крайне важно для завоевания общественного доверия и соблюдения нормативных требований, — говорит он. — По мере совершенствования этих технологий мы будем стремиться к созданию сбалансированной экосистемы, в которой ИИ расширяет возможности человека, не заменяя критически важный контроль, который может обеспечить только человек».

Рамзан делает ставку на объяснимый ИИ. «В этой области сейчас проводится много активных исследований. Кроме того, с учетом того, что законодательство и режимы соблюдения требований становятся все более актуальными, становится очевидным, что нам нужна лучшая объяснимость, — говорит он. — Я могу вам сказать, что это действительно страшно — впервые внедрять систему и не знать, как она будет работать и как ее проверять. Поэтому, в первую очередь, необходимо приложить много усилий на этапе проверки».