Существуют способы управления недетерминированным характером больших языковых моделей (LLM). Однако каждый из этих подходов предполагает свои компромиссы, пишет на портале The New Stack Алекс Квамме, генеральный директор компании Pathlight.

Генеративный искусственный интеллект (GenAI) становится все более популярным. За последние несколько месяцев мы стали свидетелями бурного развития проприетарных и опенсорсных LLM, таких как Llama 2, GPT-4, Claude 2, и таких инструментов, как интерпретатор кода ChatGPT и GitHub Copilot. Экосистема стремительно развивается и быстро трансформирует различные отрасли.

Обслуживание и поддержка клиентов — одна из областей, в которой наблюдается огромный рост GenAI. Используя LLM, организации получают более быстрые и персонализированные ответы на запросы клиентов, чем когда-либо ранее. В качестве примера можно привести чатбот «Ask Delta» компании Delta Air Lines, который использует генеративный ИИ для помощи клиентам в поиске рейсов, регистрации и отслеживании багажа, что, в свою очередь, позволило сократить объем работы колл-центра авиакомпании на 20%.

В сфере маркетинга и продаж многие организации используют ChatGPT и другие решения на основе GenAI для создания маркетинговых копий и оценки лидов. В сфере управления персоналом многие руководители применяют LLM для рекрутинга, управления продуктивностью и коучинга.

Не стоит забывать и о том, какие успехи генеративный ИИ делает в области разработки ПО. Такие решения, как GitHub Copilot и Amazon CodeWhisperer, позволяют разработчикам быстрее и точнее генерировать код, сокращая время и усилия, необходимые для выполнения рутинных задач.

Я могу продолжать и дальше, но подведу итог: каждый бизнес хочет воспользоваться преимуществами GenAi, но на деле его применение оказывается сложнее и трудоемче, чем кажется.

Если готовые модели помогают многим компаниям начать работу с генеративным ИИ, то масштабировать его для корпоративного использования гораздо сложнее. Для этого требуются специалисты, новый технологический стек для управления и развертывания моделей, достаточный бюджет для покрытия растущих расходов на вычисления и защитные ограничения для обеспечения безопасности.

Положительный момент: предприятия не могут позволить себе остаться в стороне

Прогресс, который мы наблюдаем в последние несколько месяцев, впечатляет. Хотя понимание и обработка естественного языка не являются чем-то совершенно новым, они стали гораздо доступнее. Не говоря уже о том, что по глубине и возможностям модели поднялись с 0 до 60 по 100-бальной шкале.

Однако для многих CIO выгода может быть не сразу очевидной. Многие организации в последний год сокращают бюджеты, и слепые инвестиции не входят в их планы. Но это не тот случай, когда нужно отсиживаться. ИИ способен изменить ваш бизнес невообразимыми способами. Вот краткий перечень преимуществ:

  • Мгновенный доступ к глобальным знаниям. Эти модели обучаются на всех общедоступных данных, что делает весь объем человеческих знаний легкодоступным через API или чат.
  • Понимание языка на уровне человека. Эти модели способны понимать и генерировать язык, что позволяет частично или полностью автоматизировать различные корпоративные рабочие процессы, связанные с пониманием и написанием текстов.
  • Интерпретация и генерация кода. Продвинутые модели, такие как GPT-4 Code Interpreter, способны понимать и генерировать код, обеспечивая бесшовное взаимодействие с традиционными корпоративными программными системами.
  • Международная поддержка. Благодаря поддержке более 20 языков эти модели обеспечивают глобальный охват и позволяют без труда создавать многоязычные приложения.

Ограничения, связанные с недетерминированностью

LLM, такие как GPT-4, основаны на нейронных сетях, которые по своей природе являются вероятностными. Это означает, что при одинаковых входных данных они могут каждый раз выдавать немного разные результаты из-за случайностей в архитектуре модели или в процессе обучения. Именно это мы имеем в виду, когда говорим, что LLM являются «недетерминированными».

Такое недетерминированное поведение может быть ограничением при построении бизнес-приложений корпоративного уровня по нескольким причинам:

  • Согласованность. Предприятиям часто требуются надежные и устойчивые результаты, особенно когда речь идет о таких чувствительных областях, как финансы, здравоохранение или право. Недетерминированный характер LLM может приводить к несоответствиям, что может быть проблематично в таких ситуациях.
  • Возможность аудита. Во многих отраслях важно иметь возможность аудита и отслеживания решений, принимаемых автоматизированными системами. Если LLM принимает решение или выдает рекомендацию, а затем не может воспроизвести тот же результат, это затрудняет аудит и отчетность.
  • Предсказуемость. Во многих бизнес-сценариях очень важно иметь возможность предсказать поведение системы на основе определенных входных данных. При использовании недетерминированных моделей трудно гарантировать конкретные результаты, что может затруднить планирование и разработку стратегии.
  • Тестирование. Тестирование является неотъемлемой частью любого процесса разработки ПО, в том числе и бизнес-приложений. Недетерминированный характер LLM может затруднить написание и выполнение тестов, дающих надежные и воспроизводимые результаты.
  • Управление рисками. Учитывая вероятностную природу LLM, в их результатах всегда присутствует некоторая доля неопределенности. Это может повысить риск в бизнес-приложениях, особенно в чувствительных областях.

Существуют способы управления недетерминированной природой LLM, например, использование ансамблевых методов, применение правил постобработки или задание начального уровня случайности для получения воспроизводимых результатов. Однако каждый из этих подходов имеет свои компромиссы и не позволяет полностью устранить проблему.