Периферийный ИИ и квантование моделей для аналитики реального времени

Инновации в области квантования и сжатия моделей делают возможным развертывание мощных моделей искусственного интеллекта на периферии, пишет на портале The New Stack Рахул Прадхан, вице-президент по продуктам и стратегии компании Couchbase.

Периферийный ИИ (Edge AI), или развертывание ИИ на периферии, может стать движущей силой значительных инноваций во всех отраслях. Благодаря Edge AI организации могут быстрее принимать решения, не полагаясь на облако и дата-центры. Однако вычислительные ограничения edge-устройств и проблемы с реализацией на периферии высокоточных моделей ИИ остаются препятствиями для использования этой технологии.

Квантование моделей — метод, повышающий скорость вычислений за счет улучшения переносимости и уменьшения размера модели, — имеет решающее значение для решения этих проблем. Он помогает развертывать модели для более быстрых и эффективных решений периферийного ИИ. Такие достижения, как обобщенное квантование после обучения (GPTQ), адаптация с понижением ранга (LoRA) и квантованная адаптация с понижением ранга (QLoRA), позволяют проводить аналитику в реальном времени и принимать более эффективные решения на периферии. Несмотря на то, что Edge AI все еще является развивающимся подходом, при интеграции с соответствующими инструментами и методами он способен изменить то, как предприятия используют интеллектуальные устройства и получают от них выгоду.

Траектория развития периферийного ИИ

Интеграция периферийных вычислений и ИИ меняет подход организаций к обработке данных. По прогнозам IDC, в 2026 г. глобальные расходы на периферийные вычисления достигнут 317 млрд. долл. Кроме того, периферийные вычисления набирают обороты вместе с внедрением ИИ: согласно IDC, к 2027 г. мировой рынок ИИ достигнет почти 251 млрд. долл.

Edge AI приближает обработку данных и модели к месту создания данных. Это облегчает ИИ-обработку в режиме реального времени. А также дает множество других преимуществ.

• Снижение задержек и увеличение скорости. ИИ-выводы делаются локально, что избавляет от необходимости передавать данные в облако и обратно. Это очень важно для приложений, которым нужны данные реального времени и требуется немедленная реакция.
• Повышенная безопасность и конфиденциальность данных. Хранение данных на устройстве значительно снижает риски безопасности, связанные с передачей и утечкой данных.
• Улучшенная масштабируемость. Edge AI — это децентрализованный подход, который упрощает масштабируемость приложений, устраняя зависимость от центрального дата-центра.

Квантование моделей

Для обеспечения эффективности периферийного ИИ крайне важно оптимизировать модели ИИ для достижения высокой производительности при сохранении точности. Однако растущие сложность и размер моделей ИИ создают проблемы при их развертывании на периферийных устройствах, которые, как правило, имеют ограниченные ресурсы.

Инновации в области квантования и сжатия моделей делают возможным развертывание мощных моделей ИИ на периферии. Квантование модели предполагает снижение числовой точности параметров модели, в результате чего получаются легкие модели, хорошо подходящие для развертывания на edge-устройствах, включая мобильные телефоны и встраиваемые системы.

Три метода тонкой настройки, GPTQ, LoRA и QLoRA, стали преобразующими элементами в области квантования моделей. Основная цель этих методов — сделать развертывание и тонкую настройку больших языковых моделей (LLM) более эффективными и доступными, но они подходят к этой цели по-разному.

GPTQ фокусируется на сжатии моделей после обучения для лучшего развертывания, в то время как LoRA и QLoRA направлены на повышение эффективности тонкой настройки больших моделей. GPTQ лучше всего подходит для развертывания уже обученных моделей в средах с ограниченным объемом памяти. А LoRA и QLoRA больше подходят для сценариев, в которых необходима тонкая настройка больших предварительно обученных моделей на новых задачах или наборах данных при ограниченных вычислительных ресурсах. Выбор между ними зависит от конкретных требований и фаз проекта, таких как стадия разработки модели (тонкая настройка или развертывание) и доступные вычислительные ресурсы.

Использование этих методов квантования позволяет разработчикам расширить ИИ на периферию и установить баланс между производительностью и эффективностью для различных приложений.

Возможности периферийного ИИ и требования к нему

Области применения Edge AI очень разнообразны и постоянно расширяются.

Например, розничная сеть может использовать устройства с Edge AI, такие как датчики и камеры, для сбора данных о поведении покупателей. Изучая маршруты покупателей в торговых залах или определяя зоны с наиболее популярными товарами, ритейлеры могут использовать эту информацию для оптимизации планировки магазинов, маркетинговых стратегий и т. д. Другой пример: запустив ИИ и локально проанализировав данные на периферийных устройствах, производители могут обнаруживать дефекты, прогнозировать техническое обслуживание и контролировать качество продукции. Это позволяет им лучше использовать данные реального времени для сокращения времени простоя и повышения эффективности производства.

По мере того как компании стремятся перенести ИИ-выводы на периферию, растет потребность в надежных стеках и базах данных, предназначенных для этой цели. Эти платформы должны поддерживать обработку данных на месте, обеспечивая при этом преимущества периферийного ИИ, включая снижение задержек и повышение конфиденциальности данных.

Успех Edge AI зависит от наличия постоянного слоя данных, необходимого для управления локальными и облачными данными. Рост числа мультимодальных моделей ИИ подчеркивает важность создания единой платформы, способной обрабатывать различные типы данных, чтобы соответствовать операционным требованиям периферийных вычислений. Это позволит обеспечить беспрепятственную связь с локальными хранилищами данных как в онлайн-, так и в офлайн-сценариях.

Перспективы

Объединение ИИ, периферийных вычислений и периферийных баз данных имеет ключевое значение для создания безопасных решений реального времени. По мере расширения областей применения Edge AI организациям следует сосредоточиться на внедрении эффективных стратегий для оптимизации использования данных и получения конкурентных преимуществ для своего бизнеса. При этом для создания самых быстрых и надежных приложений потребуется им база данных, предназначенная для периферийных вычислений.