Рита Козлов, вице-президент по продуктам платформы и ИИ для разработчиков компании Cloudflare, крупнейшего провайдера CDN, защиты от DDoS-атак, безопасного доступа к ресурсам и серверов DNS, рассказала порталу The New Stack, почему генеративный искусственный интеллект (GenAI) — не единственный тип модели, на который разработчикам стоит опираться при создании более интеллектуальных приложений.

Все экспериментируют с GenAI, но разработчикам стоит подумать о внедрении других форм машинного обучения в свои приложения, считает Козлов. «Все экспериментируют, и я думаю, это дает ощущение, что в производстве, в действительно сложных случаях использования, происходит больше, чем есть на самом деле, — говорит она. — Что мы видим, так это то, что существует множество чатботов, которые выдвигаются на передний план для удобства пользователей».

Альтернативы чатботам с ИИ

По словам Козлов, такой подход не всегда является правильным: если чатботы используют только генеративный ИИ, может создаться впечатление, что компания «просто ставит галочку в чекбоксе „ИИ“», не заботясь о том, будет ли он действительно полезен для пользователей.

По ее мнению, еще одним вариантом, который следует изучить разработчикам, является предиктивный ИИ, который использует алгоритмы МО для выявления закономерностей в прошлых событиях и составления прогнозов на будущее. Он применяется для решения таких задач, как выявление мошенничества, оценка кредитного риска, прогнозирование спроса и даже диагностика заболеваний.

Например, приложение для календаря может использовать МО, чтобы помочь человеку найти свободное время для встречи. «Для этого не обязательно опираться на GenAI», — говорит Козлов, в то же время признавая, что «очевидно, сегодня существует множество сценариев использования, в которых GenAI чрезвычайно полезен для людей».

Предиктивный ИИ опирается на получение ИИ-выводов, что представляет собой конкретный акт использования обученной модели для создания прогнозов на основе новых данных. По словам Козлов, для получения ИИ-выводов требуется меньше ресурсов, чем для запуска обучающих рабочих нагрузок.

Более широкое внедрение небольших моделей

Еще одна тенденция, на которую обращает внимание Козлов, заключается в том, что организациям следует развертывать небольшие модели, обученные по меньшему количеству параметров, а не использовать самую большую модель из возможных. «Люди поняли, что существующие модели с 400 млрд. параметров невозможно использовать практически. Они слишком дороги, — говорит она. — Мы также наблюдаем переход к более компактным моделям».

Разработчики приходят к выводу, что достаточно просто использовать популярного поставщика GenAI, который предлагает всего несколько моделей, используя API ИИ.

По словам Козлов, сложность возникает, когда разработчики хотят развернуть некоторые большие языковые модели (LLM) категории Open Source или модели, прошедшие внутреннее обучение. Тогда им необходимо озаботиться предоставлением виртуальных машин для поддержки инфраструктуры. «Если вы хотите использовать некоторые из действительно невероятных Open Source-моделей или модель, которую вы создали сами,... вам придется выделять виртуальные машины и думать о том, какая потребуется пиковая мощность и какая будет пиковая нагрузка, и выделять мощности в соответствии с этим», — поясняет она.

По словам Козлов, большинство рабочих нагрузок не работает на 100% постоянно — это невероятная редкость. Это означает, что разработчики много гадают при выделении ресурсов и переплачивают за ресурсы, за которые платить не нужно. «Вы замедляете работу, потому что вам приходится думать обо всем этом и управлять этим, настраивать балансировку нагрузки, маршрутизацию и все остальное, вместо того чтобы в первую очередь заниматься тем, что побудило вас использовать ИИ — ведь вы хотите как можно быстрее вывести продукт на рынок и обеспечить себе конкурентное преимущество за счет интеграции ИИ в ваше приложение», — говорит она.

Как Cloudflare использует предиктивный ИИ

По словам Козлов, ее компания использует предиктивный ИИ, например, для выявления реальных атак в отличие от легитимных всплесков веб-трафика. «Мы поняли, что можем взять ту же сеть, которую мы создали для защиты и ускорения работы приложений, и использовать ее для того, чтобы предложить разработчикам возможности по созданию приложений непосредственно на ее основе», — говорит она.

Собственная платформа для разработчиков Cloudflare — AI Workers — управляет бэкендом и предоставляет разработчикам доступ к бессерверному ИИ с помощью API. Платформа также предоставляет доступ к множеству Open Source-моделей, отмечает Козлов.

Помимо API для подключения к ИИ-выводам, облачная веб-платформа предлагает разработчикам:

  • векторную базу данных, которая позволяет разработчикам привносить в модель свою собственную информацию о памяти/специфике домена;
  • поддержку генерации с расширенным поиском (RAG), которая может быть использована для точной настройки моделей на основе знаний о домене;
  • ИИ-шлюз, который помогает отслеживать расходы на запуск различных моделей ИИ.

«ИИ-шлюз помогает вам отслеживать все эти вещи и экспериментировать, но таким образом, чтобы вы могли затем получать и сравнивать результаты, а также по-настоящему сузить круг того, что для вас важно в плане конкретной рабочей нагрузки, будь то стоимость, производительность или точность. Кроме того, он дает вам возможность видеть ответы, которые получают ваши пользователи», — говорит Козлов.