Большие языковые модели (LLM) — это модели генеративного искусственного интеллекта, на основе которых работают такие чатботы, как Google Bard и ChatGPT от OpenAI. В последние 12 месяцев наблюдается стремительный рост использования LLM, однако они страдают от критической проблемы — ИИ-галлюцинаций.

Опубликованное 20 ноября в журнале Nature Human Behavior исследование, проведенное профессорами Брентом Миттельштадтом, Крисом Расселом и Сандрой Вахтер из Оксфордского института Интернета, показывает, что LLM представляют опасность для науки, давая ложные ответы, сообщает портал Datanami. Статья под названием «To protect science, we must use LLMs as zero-shot translators» демонстрирует, что неправдивые ответы, называемые также галлюцинациями, свидетельствуют об отклонениях LLM от контекстуальной логики, внешних фактов или того и другого. Авторы работы пришли к выводу, что LLM рассчитаны на создание полезных и убедительных ответов без каких-либо сверхгарантий относительно их точности и соответствия фактам.

Ранее в этом году Институт будущего жизни (Future of Life Institute) опубликовал открытое письмо с призывом приостановить на шесть месяцев некоторые виды исследований в области ИИ, чтобы устранить некоторые серьезные угрозы, исходящие от этой технологии. Открытое письмо подписали около 1200 человек, в том числе несколько известных лидеров ИТ-индустрии, таких как Элон Маск и Стив Возняк.

Одной из причин такой проблемы с LLM является недостаточная надежность источников. LLM обучаются на больших наборах текстовых данных, взятых из различных источников, которые могут содержать ложные данные или не фактическую информацию.

Ведущий автор оксфордского исследования, директор по исследованиям, доцент и старший научный сотрудник Брент Миттельштадт, поясняет: «Люди, использующие LLM, часто очеловечивают технологию, доверяя ей как человекоподобному источнику информации. Отчасти это объясняется тем, что LLM созданы как полезные, человекоподобные агенты, которые общаются с пользователями и отвечают, казалось бы, на любой вопрос уверенным, хорошо сформулированным текстом. В результате пользователей легко убедить в точности ответов, даже если они не имеют под собой никакой основы или представляют собой предвзятую или неполную версию правды».

Авторы статьи рекомендуют четко определить, где LLM могут внести ответственный и, надо надеяться, полезный вклад, и помнить о присущих им рисках. Для задач, где истина и фактическая информация имеют решающее значение, например, в области науки, использование LLM должно быть ограничено.

Все более широкое использование LLM в качестве баз знаний делает пользователей мишенью для распространения ложной информации, которая присутствовала в обучающих данных, и галлюцинаций — спонтанно генерируемой LLM ложной информации, которая не присутствовала в обучающих данных.

По словам профессора Вахтер, «для научного сообщества очень важно, чтобы мы были уверены в достоверности фактической информации, поэтому важно ответственно подходить к использованию LLM. Если использовать LLM для создания и распространения научных статей, это может нанести серьезный вред».

Аналогичные рекомендации дает и профессор Рассел: «Важно сделать шаг назад от тех возможностей, которые предоставляют LLM, и подумать, хотим ли мы предоставить эти возможности той или иной технологии только потому, что можем».

Авторы статьи утверждают, что применение LLM для решения определенных задач должно быть ограничено ролью «переводчика без обучения» («zero-shot translator»), когда модели предоставляется надлежащая информация, которую предлагается преобразовать в желаемый результат. Такой способ использования LLM позволяет повысить производительность и одновременно снизить риск получения ложной информации. Авторы признают потенциал генеративного ИИ в поддержке научных рабочих процессов, но при этом четко заявляют, что проверка ИИ-выводов является жизненно важной для защиты науки.