О том, как планировать проекты искусственного интеллекта на периферии — когда целесообразно переходить к ним и какие шаги необходимо предпринять для успешного развертывания — на портале InformationWeek рассказывает Пшемыслав Крокош, эксперт по решениям в области периферийных и встраиваемых технологий компании Mobica.

ИИ продолжает набирать обороты как одно из самых горячих направлений в технологическом секторе. Чтобы удовлетворить потребности ИИ в вычислительной мощности, крупные вендоры стремятся создавать дата-центры по всему миру. Недавно Google объявила об инвестициях в облачную инфраструктуру в Таиланде в размере 1 млрд. долл., за этим почти сразу же последовало обещание Oracle инвестировать 6,5 млрд. долл. в Малайзии. К этому следует добавить множество аналогичных проектов в Европе, все под флагом развития ИИ.

Поэтому неудивительно, что люди, думающие об инвестициях в ИИ, обычно представляют себе облачные проекты. Однако мы также наблюдаем значительный рост числа внедрений ИИ на периферии, и для этого есть веские причины.

Доводы в пользу периферии

Две наиболее веские причины — это превосходство в скорости и безопасности, которое могут предложить периферийные вычисления. Свобода от зависимости от подключения обеспечивает низкую задержку и позволяет создавать «воздушные зазоры», через которые не могут проникнуть киберпреступники.

Оба эти вопроса жизненно важны. Скорость имеет огромное значение во многих областях применения — например, в больницах, на промышленных объектах или транспорте. Задержка машинных расчетов в отделении реанимации — это буквально вопрос жизни и смерти. То же самое относится к автономному транспортному средству, обнаруживающему неминуемое столкновение. У технологии нет времени ждать сотовой связи.

Тем временем киберпреступность все чаще представляет собой серьезную угрозу во всем мире. Отчет «The 2024 Cloud Security Report» от Check Point Software и Cybersecurity Insiders, составленный на основе бесед с 800 профессионалами в области облачных вычислений и кибербезопасности, показал, что 96% респондентов обеспокоены своими возможностями по управлению рисками безопасности облачных вычислений, причем 39% назвали себя «очень обеспокоенными». Для таких отраслей, как энергетика, коммунальное хозяйство и фармацевтика, безопасность является главным приоритетом по очевидным причинам.

Еще одна причина, по которой для внедрения ИИ следует рассмотреть возможность развертывания на периферии — это стоимость. Если у вас есть база пользователей, которая, вероятно, будет значительно расти, операционные расходы могут значительно увеличиться при использовании облачной модели. Это может произойти еще больше, если ИИ-решение также требует регулярной передачи больших объемов данных, например видеоизображений. В таких случаях облачный подход может оказаться финансово неэффективным в долгосрочной перспективе.

Разработки для периферии

Хотя периферийные системы никогда не смогут конкурировать с облаками по вычислительной мощности, появился новый класс процессоров «система на чипе» (SoC), предназначенных для получения ИИ-выводов. Многие поставщики в этой области также разработали чипсеты, предназначенные для конкретных сценариев использования, что позволяет дополнительно оптимизировать затраты.

Среди конкретных примеров таких новых продуктов — платформы Intel для поддержки периферийных развертываний компьютерного зрения, улучшенные чипы Qualcomm для мобильных и носимых устройств, а также Ambarella, продвигающая возможности обработки видео и изображений. В то же время Nvidia выпускает универсальные решения для применения в автономных транспортных средствах, здравоохранении, промышленности и т. д.

Это лишь некоторые из факторов, способствующих росту мирового рынка периферийного ИИ. По оценкам ResearchAndMarkets, в 2028 г. его объем вырастет до 61,63 млрд. долл. с 24,48 млрд. в 2024 г.

Переход к периферийному ИИ

Как же осуществить свой ИИ-проект на периферии? Ответ — «аккуратно».

Возможно, это покажется не совсем интуитивно, но ИИ-проект на периферии часто должен начинаться в облаке. Первоначальная разработка модели для получения выводов периферийного ИИ обычно требует такого уровня вычислительной мощности, который можно найти только в облачной среде. Но как только разработка и обучение модели ИИ завершены, полностью готовая версия может быть развернута на периферии.

Следующим шагом будет рассмотрение вопроса о том, как свести требования к обработке данных к минимуму. Ненасытный спрос на вычислительные ресурсы со стороны наиболее мощных моделей ИИ широко известен, но это относится ко всем масштабам ИИ — даже к небольшим моделям на периферии. Поэтому на данном этапе потребуется ряд методов оптимизации, чтобы минимизировать как требуемую вычислительную мощность, так и требуемые входные данные.

Для этого необходимо проанализировать конкретный сценарий использования и возможности выбранной SoC, а также все компоненты периферийных устройств, такие как камеры и датчики, которые могут поставлять данные. Этот процесс, скорее всего, потребует значительного количества экспериментов и настроек, чтобы найти минимально допустимый уровень точности принятия решений, который может быть достигнут без излишнего ущерба для качества решения.

Сама модель ИИ также должна быть итеративно оптимизирована, чтобы обеспечить возможность делать выводы на периферии. Достижение этой цели почти наверняка потребует нескольких преобразований, когда модель проходит через процессы квантования и упрощения.

Предприятиям также необходимо учитывать факторы открытости и расширяемости, чтобы обеспечить совместимость системы с продуктами сторонних производителей. Это, скорее всего, потребует разработки специального API для поддержки интеграции внутренних и внешних плагинов, а также создания набора средств разработки ПО для обеспечения бесперебойного развертывания.

Наконец, ИИ-решения развиваются беспрецедентными темпами, постоянно появляются более совершенные модели. Поэтому необходим надежный метод быстрого обновления моделей машинного обучения, лежащих в основе периферийных решений. Именно здесь на помощь приходит MLOps, а также методология DevOps, обеспечивающая полный цикл разработки. Инструменты и методы, разработанные и используемые в традиционной DevOps, такие как контейнеризация, могут быть применены для обеспечения конкурентных преимуществ.

Учитывая скорость развития ИИ, большинство организаций вскоре будут рассматривать возможность его внедрения в той или иной форме. Поскольку технология периферийных вычислений также быстро развивается, компаниям необходимо серьезно подумать о преимуществах, которые она может обеспечить, прежде чем вкладывать средства.