Искусственный интеллект становится все более неотъемлемой частью современного общества, меняя методы работы людей и предприятий. Генеративный ИИ (GenAI) привлек внимание аудитории своим потенциалом революционизировать отрасли, повысить производительность и стимулировать творческие прорывы. Однако, несмотря на впечатляющие возможности, есть опасения, что у GenAI нет истинного понимания мира и основополагающих принципов, которые им управляют, сообщает портал AIwire.

Группа ученых из Массачусетского технологического института, Гарварда и Корнелла обнаружила, что большие языковые модели (LLM), такие как GPT-4 от OpenAI и Claude 3 Opus от Anthropic, не способны создавать точное представление о реальном мире. LLM, которая, как кажется, хорошо работает в одном контексте, может сломаться, если окружение немного изменится.

Чтобы проверить разные LLM, исследователи разработали две новые метрики. «Логика Майхилла-Нероуда предлагает две метрики для измерения того, насколько эффективно генеративная модель отражает базовые состояния и переходы. Первая метрика суммирует сжатие последовательностей (sequence compression): согласно теории детерминированного конечного автомата (DFA), две последовательности, которые приводят к одному и тому же состоянию, должны иметь одинаковые продолжения; таким образом, можно проверить, выдает ли генеративная модель похожие последовательности выходных данных при запуске на этих двух последовательностях. Вторая метрика суммирует различие последовательностей (sequence distinction): согласно DFA, две последовательности, которые приводят к различным состояниям, должны иметь различные продолжения; таким образом, можно проверить, действительно ли результаты генеративной модели отличаются друг от друга при запуске на этих двух последовательностях», — поясняют авторы научной работы.

Вместе эти две метрики обеспечивают основу для оценки того, улавливает ли LLM основные закономерности в том, как связаны входные данные и результаты. Это позволяет оценить способность модели генерировать согласованные ответы в различных контекстах.

Чтобы продемонстрировать свои выводы, исследователи представили эксперимент с участием популярной LLM, которой было поручено составить маршрут движения в Нью-Йорке. Хотя LLM обеспечила точность почти 100%, исследователи обнаружили, что она использовала карты с несуществующими улицами. Проблема усугубилась, когда исследователи стали вносить неожиданные изменения, такие как закрытие дорог и объезды. LLM с трудом приспосабливалась, что приводило к значительному снижению точности. В некоторых случаях она вообще не справлялась с вносимыми изменениями. Закрытие всего 1% улиц привело к снижению точности определения маршрута движения с почти 100 до 67%.

«Одна из надежд заключается в том, что, поскольку LLM могут делать все эти удивительные вещи в языке, возможно, мы сможем использовать эти же инструменты и в других областях науки. Но вопрос о том, способны ли LLM иметь согласованное представление о мире, очень важен, если мы хотим использовать эти методы для новых открытий», — говорит старший автор данной работы Ашеш Рамбачан, доцент кафедры экономики и главный исследователь Лаборатории информации и систем принятия решений МТИ (LIDS).

Несколько других исследований и инцидентов также подчеркнули непредсказуемую природу LLM. Недавно стало известно об инциденте, когда студент из Мичигана получил угрожающий ответ во время общения с чат-ботом Gemini от Google AI.

Google отреагировала на этот инцидент, заявив: «LLM иногда могут давать бессмысленные ответы, и это как раз такой пример. Этот ответ нарушает наши правила, и мы приняли меры, чтобы предотвратить подобные выводы».

Однако это не единичный случай: другие модели ИИ также выдавали неадекватные ответы. В ноябре мать подростка из Флориды подала иск против компании, занимающейся разработкой ИИ, чья модель, как она утверждает, подтолкнула ее сына к самоубийству.

Если модели ИИ не понимают системы, с которыми они взаимодействуют, их впечатляющие результаты могут быть обманчивы. Они могут хорошо работать в привычных ситуациях, но часто терпят неудачу, когда условия меняются. Чтобы быть по-настоящему надежным, ИИ должен не просто хорошо работать. Он должен демонстрировать более глубокое понимание контекста, в котором он работает.