Ключ к успеху внедрения искусственного интеллекта не в том, чтобы бросить на решение задачи больше ресурсов, а в том, чтобы кардинально переосмыслить архитектуру инфраструктуры данных для эпохи ИИ, пишет на портале The New Stack Сицзе Го, основатель и генеральный директор компании Streamnative.

В процессе реализации ИИ-инициатив организации сталкиваются с неожиданным узким местом: огромными затратами на инфраструктуру данных, необходимую для поддержки приложений ИИ.

Когда Gartner прогнозирует увеличение расходов на ИТ на 9,8% в 2025 г., речь в первую очередь идет не о моделях или вычислительных ресурсах, а об экспоненциальном росте затрат на инфраструктуру данных, который грозит сделать ИИ-инициативы экономически неустойчивыми.

Масштаб финансовой проблемы

Традиционные архитектуры данных не были рассчитаны на тот объем и скорость данных, которые требуются приложениям ИИ. В сценариях потоковой передачи данных одни только сетевые затраты могут составлять до 80% от общих расходов на инфраструктуру. Это становится особенно проблематичным, когда организации должны перемещать данные между различными облачными зонами или регионами для обработки или обучения.

Рассмотрим типичную корпоративную ИИ-инициативу: компании часто начинают со скромных пилотных проектов, направленных на решение одной конкретной бизнес-задачи, например, внедрение ИИ для выявления мошенничества или предиктивного планирования. Изначально такие проекты кажутся приемлемыми с точки зрения затрат. Однако по мере роста объемов данных и расширения областей применения затраты на инфраструктуру растут не линейно, а экспоненциально. Это особенно актуально для критически важных приложений, таких как автономное вождение или производственные датчики, где обработка данных в реальном времени является обязательным условием, а простои недопустимы.

Проблема стоимости обусловлена тремя основными факторами:

  • Во-первых, традиционные архитектуры часто требуют создания нескольких копий одних и тех же данных в разных системах — одна копия для потоковой передачи, другая для пакетной обработки, третья для обучения ИИ.
  • Во-вторых, перемещение этих данных между различными зонами в облачных средах сопряжено со значительными сетевыми затратами.
  • В-третьих, раздельные инфраструктуры для обработки данных в реальном времени и для пакетной обработки создают операционные накладные расходы и неэффективность.

Такое умножение данных и инфраструктуры приводит к «налогу на данные ИИ» — скрытым расходам, которые возникают при расширении ИИ-инициатив за рамки пилотных проектов. Для многих организаций эти расходы могут превышать затраты на сами модели и вычислительные ресурсы ИИ.

Переосмысление архитектуры данных

Организации могут решать эти проблемы с помощью инновационных архитектурных подходов. Одним из перспективных направлений является внедрение децентрализованных (leaderless) архитектур в сочетании с объектным хранением. Такой подход устраняет необходимость в дорогостоящем перемещении данных за счет использования нативных облачных решений хранения, которые одновременно служат нескольким целям.

Другая ключевая стратегия предполагает переосмысление способов организации данных и доступа к ним. Вместо того чтобы содержать отдельные инфраструктуры для потоковой и пакетной обработки, компании переходят на унифицированные платформы, которые могут эффективно справляться с обеими рабочими нагрузками. Это снижает затраты на инфраструктуру и упрощает управление данными и схемы доступа к ним.

Модели ценообразования облачных провайдеров существенно влияют на экономичность инфраструктуры ИИ. Хотя облачные сервисы обеспечивают гибкость и масштабируемость, их плата за выход из сети и стоимость передачи данных могут быстро стать непомерно высокими для интенсивных рабочих нагрузок ИИ. Организациям необходимо тщательно продумывать решения, чтобы минимизировать перемещение данных между зонами и регионами.

Экономическая эффективность в развитии

Успех инициатив в области ИИ в 2025 г. будет зависеть не столько от выбора правильных моделей, сколько от создания экономически эффективной инфраструктуры данных.

Организациям следует сосредоточиться на следующем:

  • внедрение архитектур, минимизирующих дублирование и перемещение данных;
  • использование объектных хранилищ и децентрализованных конструкций для снижения затрат на инфраструктуру;
  • унификация потоковой и пакетной обработки для упрощения операций;
  • оптимизация использования облачных ресурсов для контроля сетевых расходов.

Хотя прогнозируемый Gartner рост расходов на ИТ отражает растущую важность ИИ, организации, не решившие эти инфраструктурные проблемы, рискуют застопорить свои ИИ-инициативы из-за непосильных расходов. Ключ к успеху заключается не в том, чтобы бросить на решение проблемы больше ресурсов, а в том, чтобы кардинально переосмыслить архитектуру инфраструктуры данных для эпохи ИИ.

Следующая волна ИИ-инноваций придет не только благодаря более совершенным моделям, но и благодаря более эффективным способам хранения, перемещения и обработки огромных объемов данных, которые делают ИИ возможным. Организации, которые решат эту инфраструктурную проблему, будут иметь все возможности для успешного масштабирования своих ИИ-инициатив.