Хотя может показаться логичным запускать рабочие нагрузки искусственного интеллекта в облаке, появление ИИ на аппаратном обеспечении пользовательских устройств предоставляет альтернативу на уровне локальных вычислений, пишет на портале ComputerWeekly Рис Хейден, главный аналитик ABI Research, возглавляющий исследования в области ИИ и машинного обучения.

Если вы не являетесь бухгалтером, вся процедура подачи налоговых деклараций в конце года может стать настоящим кошмаром. Хотя вы с нетерпением ждете налогового вычета, вам, вероятно, не слишком нравится выкладывать деньги налоговому эксперту или тратить пару часов на самостоятельное заполнение декларации. Но что, если бы весь процесс можно было выполнить с помощью цифрового помощника на вашем смартфоне? Экономия времени и средств от подобного приложения была бы значительной. Такова потенциальная мощь ИИ на устройстве (on-device AI).

Пример с налоговой декларацией — лишь один из многих способов, с помощью которых ИИ на устройстве может сэкономить время и деньги потребителей и предприятий. От оптимизации «умной» бытовой техники до автоматического составления контракта с клиентом — генеративный ИИ на устройстве и приложения для повышения производительности, которые он может создать, являются ключом к открытию новой захватывающей эпохи на рынках смартфонов и ПК.

Рабочие нагрузки ИИ уходят из облака

ИИ для личных и рабочих устройств — не новая концепция, однако сейчас подавляющее большинство ИИ-приложений работает в облаке. Хотя использование облака — это отличная возможность для увеличения ресурсной емкости и хранения данных, модель ИИ, ориентированная на облако, страдает от технических проблем, таких как высокая задержка и перегрузка сети. В результате опыт работы пользователей со многими облачными ИИ-приложениями не соответствует их ожиданиям.

Чтобы устранить эти технические проблемы, производители смартфонов начинают встраивать ИИ-ускорители в устройства высокого класса для поддержки локальных ИИ-выводов. Однако ИИ-приложения на устройствах в основном ограничиваются голосовым управлением, обработкой изображений с помощью ИИ и другими приложениями, ориентированными на удобство пользователей. Чтобы раскрыть ценность ИИ на устройствах, необходимо разработать широкий спектр приложений для повышения продуктивности с применением сжатых моделей генеративного ИИ, предназначенных для конкретных сценариев использования.

Ценность ИИ на устройствах

ChatGPT положил начало массовому ажиотажному интересу к генеративному ИИ среди потребителей и предприятий, что привело к его тестированию и внедрению на различных рынках. Поскольку большинство этих моделей ИИ развернуто в публичном облаке, пользователи сталкиваются с перегрузкой сети, проблемами конфиденциальности данных и растущими счетами за облачные услуги в результате расширения базы пользователей. В отличие от этого, локальные рабочие нагрузки ИИ, выполняемые на устройствах, повышают уровень пользовательского опыта, устраняя сетевые задержки, снижая различные расходы, поддерживая будущие возможности ИИ и повышая безопасность данных.

Рассмотрим эти преимущества более подробно:

  • Уменьшение сетевых задержек. Приложения ИИ, такие как цифровые помощники и корпоративная расширенная реальность (XR), требуют низких задержек, чтобы обеспечить максимально естественное, персонализированное и увлекательное взаимодействие. Перенос получения выводов ИИ на устройство устраняет риск сетевых задержек, позволяя разработчикам ПО создавать более широкий спектр приложений для повышения производительности критически важных приложений, что было бы невозможно при использовании архитектуры ИИ, ориентированной на облако.
  • Экономия средств. По мере того как развертывание ИИ будет расти, спрос на сети и облачный хостинг приведет к дальнейшему увеличению расходов разработчиков приложений и предприятий. Локальная ИИ-обработка избавляет от многих из этих затрат, а также снижает энергопотребление дата-центров. Такие инструменты оптимизации, как сжатие и квантизация, будут играть важную роль в создании генеративного ИИ на устройствах, позволяя разрабатывать точные модели ИИ с низким энергопотреблением и менее чем 15 млрд. параметров.
  • Поддержка будущих возможностей ИИ. Никто не захочет вкладывать деньги в устройство, которое устареет через год или два. ИИ-ускорители на устройствах могут быть оптимизированы для поддержки моделей и приложений генеративного ИИ, которые еще не вышли на рынок. В свою очередь, владельцы смартфонов и ПК максимально повысят рентабельность своих инвестиций (ROI).
  • Повышенная безопасность данных. Несмотря на то что провайдеры публичного облака внедряют средства защиты, они не являются пуленепробиваемыми, о чем свидетельствуют случаи взлома облачных сервисов в ряде организаций в последние годы. ИИ на устройствах сохраняют пользовательские данные и данные датчиков на локальном уровне, что сводит к минимуму риск утечки личной информации или интеллектуальной собственности. Стоит также отметить, что низкая задержка, которую обеспечивают модели ИИ на устройствах, улучшает обнаружение угроз и другие функции кибербезопасности.
  • Персонализация моделей. Хотя модели ИИ можно персонализировать в публичном облаке, это противоречит требованиям конечных пользователей к конфиденциальности данных и оптимизации затрат. Обработка на устройстве позволяет настраивать модели ИИ локально в соответствии с предпочтениями, поведением и приложениями конечных пользователей. Это особенно ценно, поскольку позволяет эффективно персонализировать модели ИИ, используя различные источники входящих данных от датчиков и пользователей, включая Wi-Fi, GPS, данные сенсоров и т. д. Это дает значительные преимущества, включая повышение производительности ИИ, улучшение доступности, более интуитивное и автоматизированное взаимодействие/опыт.

ИИ на устройстве делает потребителей более продуктивными

Сейчас потребители обновляют свои смартфоны медленнее, чем в прошлые годы. Возможно, рынок достиг точки снижения отдачи. Например, создается впечатление, что каждая новая итерация смартфона практически не имеет дополнительных преимуществ по сравнению с предшественником. ABI Research считает, что потребительский спрос на смартфоны и планшеты можно стимулировать с помощью комбинации ИИ на устройстве и ИИ-приложений, ориентированных на продуктивность.

Если производители устройств продемонстрируют ощутимую рентабельность инвестиций в виде экономии средств и времени за счет использования этих приложений ИИ на устройствах, у потребителей появится стимул чаще обновлять свои устройства. Будь то экономия времени за счет автоматического планирования семейных встреч или экономия расходов на коммунальные услуги за счет оптимизации энергопотребления, у потребителей появится новая причина для покупки новых моделей смартфонов. Более того, ориентированные на продуктивность ИИ-приложения могут помочь художнику или продюсеру воплотить творческую идею в жизнь.

Следуя рыночной траектории, компании Qualcomm и Samsung недавно заключили партнерство для поддержки возможностей мобильного ИИ в смартфонах серии Galaxy S24. ИИ-приложения для повышения продуктивности не только снизят частоту обновления устройств, но и позволят производителям нового оборудования, таким как Samsung, повысить розничные цены на свою продукцию.

Как предприятия могут использовать ИИ на устройствах

На корпоративном рынке, где отсутствие аппаратных инноваций привело к стагнации роста поставок ПК и ноутбуков, ситуация также не такая уж и плохая. Развертывание ИИ на этих устройствах будет привлекать предприятия благодаря повышению продуктивности в автономном режиме, снижению задержек, повышению конфиденциальности данных, улучшению связи между пользователем и устройством и персонализации моделей.

ИИ для повышения продуктивности на устройствах экономит время и деньги компаний, автоматизируя административные задачи, такие как составление расписаний, контрактов, заметок, и позволяя пользователям быть продуктивными, даже когда их устройство находится в автономном режиме. Предприятия, использующие эти новые приложения генеративного ИИ, могут сэкономить тысячи долларов в год на каждом сотруднике и дать им возможность использовать приложения на базе генеративного ИИ, такие как Copilot, в дороге, например в поездках к клиентам.

По данным ABI Research, самые ранние внедрения ИИ на устройствах на предприятиях происходят в секторах внутренних операций, офисной работы и профессиональных услуг, поскольку уже первые приложения обеспечивают очевидную окупаемость инвестиций. Однако по мере развития ИИ на устройствах с помощью приложений ИИ для повышения продуктивности и с расширением поддержки различных форм-факторов, как ожидается, внедрение ИИ в различных вертикалях, таких как производство, здравоохранение, логистика и транспорт, а также телекоммуникации, будет расти.

Хотя львиная доля обсуждений корпоративного применения ИИ на устройствах посвящена смартфонам и ПК, те же преимущества могут быть применены в автомобильной промышленности, XR, Интернете вещей (IoT) и носимых устройствах. Действительно, снижение задержек расширяет возможности автомобильного цифрового помощника, а конфиденциальность данных необходима для пациентов медицинских учреждений и их поставщиков. Немаловажно, что при этом исключаются затраты на облачные вычисления.

Кроме того, горнодобывающие и логистические компании оценят высокую надежность ИИ на устройствах при использовании устройств XR и IoT в удаленных районах, подверженных перебоям в работе сетей связи. Как и в потребительском сегменте, оборудование со встроенным ИИ с соответствующими ИИ-приложениями для повышения продуктивности, как ожидается, снизит частоту обновления устройств на предприятиях, поскольку они ищут следующее «убойное приложение».

Будущее ИИ на устройствах

Волна последних тенденций стала неотъемлемой частью поддержки ИИ на устройствах. Гетерогенные чипсеты, такие как Snapdragon X Elite от Qualcomm для ПК, объединяют графический процессор (GPU), центральный процессор (CPU) и нейронный процессор (NPU) в единую «систему на чипе» (SoC). Это позволяет повысить эффективность работы ИИ и улучшить производительность приложений.

Кроме того, активно ведется работа по созданию высокооптимизированных, готовых к использованию на устройствах небольших моделей генеративного ИИ без высоких требований к энергоснабжению, памяти и вычислительным ресурсам, способных сравниться по точности, производительности и знаниям с гораздо более крупными моделями. Эти инновации в области ПО дополняются расширением сотрудничества между ключевыми заинтересованными сторонами, чтобы снизить общий барьер для входа — с помощью наборов для разработки ПО (SDK), таких как Qualcomm AI Stack, и платформ no/low-code — и ускорить разработку приложений ИИ для повышения продуктивности.

Судьба рынка ИИ для устройств зависит от трех ключевых участников:

  • Независимые поставщики ПО (ISV) используют доступные модели и инструменты ИИ для создания ИИ-приложений, оптимизированных под базовое оборудование.
  • Производители чипсетов обеспечивают возможность работы ИИ на устройстве и облегчают разработку приложений, предлагая SDK. Кроме того, им важно обеспечить возможности чипсетов для решения проблем, связанных с аппаратными ограничениями.
  • Производители оригинального оборудования (OEM) объединяют различные компоненты в одном устройстве и согласовывают приложения с болевыми точками потребителей/предприятий и аппаратным обеспечением.

Благодаря тесному сотрудничеству между этими компаниями инновации можно продвигать дальше, чтобы обеспечить устойчивые долгосрочные потоки доходов за счет использования ИИ для повышения продуктивности. Например, в коллекции «умных» очков Ray-Ban используются чипсеты Qualcomm для обеспечения работы ИИ в очках, снижения сетевых задержек и возможности перевода в реальном времени. То, что раньше воспринималось как «развлекательные» устройства, теперь будет считаться необходимыми «производственными» устройствами, которые предлагают ценность, выходящую за рамки улучшенной фотографии или обычного голосового помощника.

ABI Research прогнозирует, что рынок постепенно примет подход «гибридного ИИ». При гибридной архитектуре ИИ рабочие нагрузки размещаются на периферии, в облаке или на устройстве — в зависимости от коммерческих и технических приоритетов. Например, в сверхчувствительных к данным приложениях обучение моделей может происходить в облаке, а выводы и тонкая настройка этих моделей, использующих пользовательские данные, — на устройстве, чтобы обеспечить максимальную конфиденциальность. Применяя гибридный подход к ИИ, пользователи могут оптимизировать энергопотребление, уменьшить количество узких мест в памяти и максимизировать соотношение цены и производительности.