Опрошенные порталом СomputerWeekly эксперты обсуждают основные аспекты, которые необходимо учитывать корпоративным разработчикам при создании, тестировании и развертывании бизнес-приложений на основе больших языковых моделей (LLM).
Благодаря доступности популярного ПО для генеративного искусственного интеллекта (GenAI) практически каждый может начать использовать публичные LLM. Gartner называет использование таких инструментов с поддержкой ИИ «повседневным ИИ» — другими словами, это инструменты, которые дополняют то, что люди уже делают. Но поскольку доступ к этой технологии есть у всех, ее нельзя считать отличительной особенностью бизнеса.
Вторая область применения LLM — это то, что Gartner называет «ИИ, меняющий правила игры», когда технология используется для создания совершенно новых продуктов и услуг и кардинально меняет отрасль.
Хотя такие инструменты, как ChatGPT, поразили воображение людей и демонстрируют возможности публичных LLM, конечной целью руководителей компаний и команд разработчиков ПО, которым поручено создавать вспомогательные технологии, скорее всего, станут именно области применения, способные изменить ход событий.
Эксперты утверждают, что LLM требуют совершенно иного мышления, чем традиционная разработка ПО, в плане навыков программирования и обеспечения качества. ИТ-инфраструктура также радикально отличается от традиционных корпоративных приложений, и ИТ-руководителям придется балансировать между правилами защиты данных и возможностью обучать LLM и проверять их точность.
Как начать работу с LLM
В традиционном программировании, когда кодер использует систему или API с известными возможностями, можно задокументировать вводную и ожидаемые результаты. «Вы можете с уверенностью утверждать, каких результатов следует ожидать, потому что система, хотя и не обязательно стабильная, будет детерминированной и заранее известной», — говорит Дэвид Колвелл, вице-президент по ИИ и машинному обучению компании Tricentis
Однако обучающиеся системы по своей сути нарушают эту парадигму. «Это не ошибка, а скорее особенность самой их природы, — отмечает Колвелл. — Они обучаются на огромных массивах данных, но мы не ожидаем от них исключительно правильных ответов; мы просто ожидаем, что они будут совершенствоваться со временем».
Иногда улучшение в одной области может происходить за счет другой, и это вполне допустимо.
По мнению Колвелла, системы ИИ не следует обвинять или требовать от них отчета за то, что они недетерминированы. Вместо этого он рекомендует ИТ-руководителям найти время, чтобы признать ограничения этой технологии.
Андреа Мирабиле, глобальный директор по исследованиям в области ИИ компании Zebra Technologies, отмечает, что работа с LLM часто предполагает более глубокое понимание алгоритмов машинного обучения. Однако, по его словам, хотя обычному программисту полезно иметь базовые знания о концепциях MО, некоторые инструменты и фреймворки предлагают более доступную точку входа.
По опыту Мирабиле, понимание таких задач, как тонкая настройка модели, настройка гиперпараметров и нюансы работы с обучающими данными, может способствовать достижению оптимальных результатов. Полезны также инструменты low-code. Он предлагает лицам, принимающим решения в области ИТ, подумать о том, как можно использовать инструменты low-code для создания более удобного интерфейса для тех, кто не обладает достаточным опытом в области MО. В качестве примера он приводит LangChain — платформу, предлагающая разработчикам инструменты для быстрого создания прототипов и экспериментов с LLM.
Однако, несмотря на то, что инструменты low-code упрощают некоторые аспекты разработки ИИ-приложений на базе LLM, Мирабиле предупреждает, что они могут иметь ограничения в поддержке узкоспециализированных задач или сложных конфигураций моделей. Кроме того, для принятия обоснованных решений о поведении модели разработчикам необходимо фундаментальное понимание МО.
Почему важно сосредоточиться на качественных и разнообразных наборах данных
LLM в значительной степени зависят от качества и разнообразия обучающих данных. Если данные необъективны или недостаточно разнообразны, то результаты модели могут демонстрировать предвзятость или закреплять стереотипы, предупреждает Мирабиле. Необъективные результаты могут привести к несправедливым или нежелательным последствиям, особенно в приложениях, затрагивающих деликатные темы или разнообразные базы пользователей.
Также, как отмечает Эбенезер Шуберт, вице-президент по инженерии компании OutSystems, LLM могут галлюцинировать. «Подсказка, используемая для LLM, может быть взломана, если вы не будете осторожны. Если вы выполняете какую-либо тонкую настройку на основе вашего взаимодействия и не обращаете внимания на набор данных, это также может привести к негативным эффектам обучения. На все эти моменты следует обратить внимание», — говорит он.
Однако тонкая настройка LLM под конкретные задачи требует опыта. По словам Мирабиле, для достижения оптимальной производительности часто приходится экспериментировать с гиперпараметрами и адаптировать модель к конкретной задаче. «Недостаточно тонкая настройка может привести к неоптимальной производительности или сложностям с адаптацией модели к конкретным сценариям использования», — говорит он.
Мирабиле призывает ИТ-руководителей проявлять осторожность при развертывании LLM, включающих сложные модели глубокого обучения, поскольку их интерпретация может быть затруднена. «Понимание того, почему модель сделала то или иное предсказание, может быть труднодостижимым, — говорит он. — Отсутствие возможности интерпретации может помешать доверию к выводам модели, особенно в критически важных приложениях, где важны подотчетность и прозрачность».
Что такое частная LLM
Одно из первых решений, которое должны принять ИТ-руководители, — использовать ли одну из растущего числа публичных LLM или развернуть внутреннюю модель, огражденную от публичного Интернета.
Коммерческие LLM в публичном облаке доступны всем желающим по подписке. Они обучаются на огромных массивах общедоступных данных, собранных с веб-сайтов и социальных сетей. Очевидный вопрос для ИТ-руководителя, рассматривающего подписку на публичные
Еще один фактор — стоимость. По словам Илкки Турунена, технического директора Sonatype, большинство моделей с API-доступом оплачиваются за отправленный и полученный токен. Это означает, что расходы могут быстро увеличиваться вследствие широкого использования. «Расчеты для этих запросов не всегда просты, и требуется глубокое понимание полезной нагрузки», — добавляет он.
Кроме того, существует огромное количество вопросов, связанных с интеллектуальной собственностью при обучении моделей, которые еще предстоит решить.
«Такие юрисдикции, как ЕС и Япония, недавно разъяснили, что в их законодательстве существует исключение для извлечения текстов и данных в контексте обучения моделей ИИ. Есть и более длинный список стран, в которых действует подобный режим», — говорит Оуэн Лартер, директор по государственной политике в офисе ответственного ИИ компании Microsoft.
А в США The New York Times недавно подало иск против Microsoft и OpenAI, разработчика ChatGPT, утверждая, что эти две компании незаконно использовали наработки с ее сайтов для создания ИИ-продуктов, которые конкурируют с изданием и угрожают его новостному сервису.
Выделить свою LLM на фоне конкурентов может помочь использование данных, относящихся к конкретным областям или являющихся собственностью компании.
Частный характер LLM предполагает, что модели работают внутри собственной ИТ-инфраструктуры организации, не опираясь на какие-либо внешние связи. «Размещая эти модели в своей безопасной ИТ-инфраструктуре, можно защитить корпоративные знания и данные», — говорит Оливер Кинг-Смит, генеральный директор smartR AI.
Однако он отмечает, что частные модели нуждаются в поддержке со стороны всех заинтересованных сторон в организации. И призывает ИТ-руководителей, рассматривающих возможность развертывания частных LLM, провести оценку рисков перед их внедрением.
«При их развертывании компании должны иметь четко определенные политики их использования, — добавляет Кинг-Смит. — Как и в случае с любым другим критическим ИТ-ресурсом, необходимо обеспечить контроль доступа ключевых сотрудников, особенно если они работают с конфиденциальной информацией».
Например, компаниям, которым необходимо соблюдать такие стандарты, как ITAR, GDPR и HIPPA, нужно проверить, соответствуют ли им их LLM. В качестве примеров случайного злоупотребления Кинг-Смит приводит случаи, когда некоторые юристы были пойманы на подготовке дел в ChatGPT, что является явным нарушением адвокатской тайны.
По его словам, основное преимущество частных LLM перед публичными заключается в том, что они могут изучать внутреннюю информацию, хранящуюся в электронной почте, внутренних документах, системах управления проектами и других источниках данных организации. «Это богатое хранилище, заложенное в вашу частную модель, повышает ее способность работать внутри предприятия», — говорит Кинг-Смит.
Какая ИТ-инфраструктура необходима для развертывания LLM
Работа с частными LLM подразумевает, что внутренняя ИТ-служба организации отвечает за поддержание аппаратного и программного обеспечения. Обучение LLM осуществляется с помощью массива графических процессоров (GPU), установленных на серверах, оптимизированных для ИИ.
Многие организации предпочитают не размещать серверы у себя, а использовать внешнее оборудование, доступ к которому предоставляется через публичного поставщика инфраструктуры как сервиса (IaaS). Например, гигант розничной торговли Walmart использует как публичных облачных провайдеров, так и собственный стек технологий генеративного ИИ.
«Для нас очень важно, чтобы данные наших пользователей, клиентов и интеллектуальная собственность оставались в пределах нашего брандмауэра и не использовались для дополнения других наборов обучающих данных, поэтому мы тратим много времени на то, чтобы разобраться, как это сделать», — говорит старший вице-президент Walmart Дэвид Глик, возглавляющий отдел корпоративных бизнес-услуг ритейлера.
Использование публичного облака для размещения и запуска частных LLM позволяет ИТ-руководителям избежать риска утечки данных, которая может произойти, если в публичную LLM будут загружены данные, являющиеся собственностью компании. Частная LLM, работающая в облачной инфраструктуре, позволяет организациям воспользоваться преимуществами масштабируемости и эластичности публичного облака, сохраняя при этом безопасность данных конкретной компании.
Индустрия признала, что существует спрос на предоставление ИТ-инфраструктуры и платформ, оптимизированных для работы с ИИ. Крупнейшие поставщики серверов изменили свои предложения, чтобы удовлетворить рабочие нагрузки, связанные с МО и обучением LLM.
«Компании видят потенциал GenAI и хотят добиться соответствующих результатов. Но они сомневаются, стоит ли переносить свои данные в облако, ведь их внутренние данные становятся частью общественного достояния», — говорит Пауло Перрейра, вице-президент по системному проектированию Nutanix.
В связи с этим Nutanix разработала так называемую «GPT-in-a-box», которая использует модели с открытым исходным кодом и обучает их с помощью частных данных. «Пользователи сохраняют контроль над своими данными, поскольку они остаются в пределах организации», — поясняет Перрейра.
Какие ограждения нужны для LLM
Наконец, помимо технической инфраструктуры и навыков программирования, важно, чтобы команды разработчиков ПО использовали надлежащие защитные механизмы для обеспечения безопасности, конфиденциальности и соответствия требованиям при создании корпоративных ИИ-приложений. Руководителям компаний также необходимо учитывать этические последствия использования LLM, возможность аудита и необходимости давать объяснения, чтобы продемонстрировать аудиторам, что они внедрили политики и процедуры, обеспечивающие справедливость и беспристрастность приложений для принятия решений на основе LLM.
Джеймс Тедман, глава европейского региона BlueFlame AI, предлагает сосредоточиться на следующих областях:
- Безопасность данных. Внедрите надежное шифрование данных в состоянии покоя и при передаче. Регулярно пересматривайте и обновляйте протоколы безопасности для защиты конфиденциальной информации, обрабатываемой различными LLM.
- Соблюдение конфиденциальности. Соблюдайте законы о конфиденциальности, такие как GDPR или CCPA. Убедитесь, что все используемые LLM соответствуют этим нормам, особенно в отношении обработки пользовательских данных и согласия. Убедитесь, что у вас есть коммерческие соглашения с провайдерами LLM, чтобы предотвратить использование ваших данных для обучения моделей.
- Контроль доступа. Внедрите строгие механизмы контроля доступа и аутентификации для предотвращения несанкционированного доступа к системам ИИ и конфиденциальным данным.
- Аудит и мониторинг. Регулярно проверяйте системы ИИ на наличие уязвимостей в системе безопасности и отслеживайте их использование для выявления и реагирования на вредоносные действия.
- Предвзятость и этические соображения. Регулярно оценивайте различные LLM на предмет предвзятости. Применяйте меры по снижению влияния этих предубеждений на принятие решений и результаты.
- Соответствие отраслевым стандартам. Убедитесь, что все ИИ-решения соответствуют отраслевым стандартам и нормам, особенно в таких отраслях, как здравоохранение, финансы и юриспруденция.
- Прозрачное использование данных. Поддерживайте прозрачность использования и обработки данных системами ИИ, информируя заинтересованные стороны об используемых моделях ИИ и методах работы с данными.
