Способствуя автоматизации и оркестровке компонентов инфраструктуры, модель IaC («инфраструктура как код») играет ключевую роль в успехе генеративного ИИ (GenAI), пишет на портале The New Stack Джен Аспези, старший консультант по маркетингу решений в подразделении защиты данных Dell Technologies.

Технология GenAI основана на быстром сборе данных, обучении и выводах. Следовательно, оптимизация приложений ИИ — и, как следствие, других важных рабочих нагрузок — зависит от скорости, масштабируемости и эффективности вашей инфраструктуры и зрелости процессов DevOps.

Достижение зрелости в организации DevOps требует преодоления различных барьеров для реализации краткосрочных и долгосрочных целей, поставленных перед инфраструктурой. Краткосрочные цели включают повышение квалификации ИТ-команды и интеграцию инструментов контейнеризации и автоматизации, которые используются на протяжении всего жизненного цикла операций (от «дня 0» до «дня 2»). Масштабируя контейнерные среды и автоматизируя процессы, вы сможете значительно повысить долгосрочную экономическую жизнеспособность и устойчивость компании. Долгосрочные цели включают развертывание этих решений в мультиоблачных и мультисайтовых ландшафтах и балансировку рабочих нагрузок.

Исследование Dell Technologies «Infrastructure-as-code and DevOps Automation: The Keys to Unlocking Innovation and Resilience», проведенное незадолго до начала взрывного роста ИИ, показало, что уровень автоматизации рабочих процессов в инфраструктуре компаний, ориентирующихся на современный ландшафт данных, в целом ниже 50%. В сочетании с двукратным ростом количества приложений организации могут столкнуться с тем, что они не успевают за неумолимым потоком изменений.

Инфраструктура GenAI: проще простого?

Фундаментальные элементы автоматизации — от вычислительных возможностей до плотности и скорости хранения данных, охватывающих неструктурированные, блочные и файловые форматы, — созрели для быстрой интеграции автоматизации в организации, чтобы создать надежную основу для внедрения GenAI. Разумный способ облегчить путь к ИИ — включить готовые инструменты интеграции в портфель продуктов. Это похоже на создание многоярусного торта.

При выборе различных компонентов аппаратной инфраструктуры для системы GenAI необходимо учитывать ряд важных моментов, включая высокопроизводительные вычисления, высокоскоростные сети и масштабируемые системы хранения данных с высокой емкостью и низкой задержкой. Требования к инфраструктуре для рабочих нагрузок ИИ и машинного обучения динамичны и зависят от таких факторов, как характер задачи, размер набора данных, сложность модели и желаемый уровень производительности. Универсального решения для инфраструктуры GenAI не существует, поскольку для разных задач и проектов могут потребоваться разные конфигурации.

Инфраструктура как код для ИИ

Принципы IaC, способствующие автоматизации и оркестровке базовых компонентов инфраструктуры, играют ключевую роль в успехе инициатив в области GenAI. Используя такие инструменты IaC, как Ansible и Terraform, организации могут упростить развертывание и управление аппаратными ресурсами, обеспечивая бесшовную интеграцию с рабочими нагрузками GenAI.

Эти популярные инструменты IaC улучшают существующие высокоценные рабочие нагрузки и упрощают процесс внедрения новых рабочих нагрузок приложений ИИ. Например, они позволяют создавать плейбуки и планы для автоматизации конфигурирования, инициализации, развертывания и обновления серверов в процессе сбора данных.

Ansible универсален и поддерживает императивное и декларативное программирование. Благодаря своей изменчивой природе плейбуки могут быть модифицированы в режиме реального времени без нарушения текущих процессов или конечных пользователей. Модули, плейбуки и роли Ansible могут быть разработаны для вычислительных конфигураций, необходимых для удовлетворения уникальных требований больших языковых моделей (LLM) и их рабочих нагрузок. Terraform предлагает декларативный подход к настройке и демонтажу среды, что идеально подходит для сценариев, в которых повторяемость и согласованность имеют первостепенное значение. Эти два доминирующих инструмента IaC имеют разное функциональное назначение в автоматизации ИТ-операций; они не взаимозаменяемы.

Системы хранения данных для ИИ

Обработка и обучение данных ИИ требуют доступа к масштабируемым и простым файловым системам, особенно по мере увеличения объема обучающих данных. ИИ также требует хранения неструктурированных данных для доступа к богатому контексту и нюансам на этапе создания. Изменяемый доступ пользователей — еще одно требование к ИИ, и поейбуки автоматизации Ansible позволяют быстро менять и адаптировать его.

Конечные пользователи получают истинные преимущества ИИ, когда они активно взаимодействуют в режиме реального времени с данными, полученными на основе обученных моделей ИИ с помощью таких инструментов GenAI, как Copilot, ChatGPT или Dall-E. Эти приложения могут размещаться онпремис или в облаке, используя данные из блочных или файловых массивов хранения, которые обеспечивают низкую задержку и экономичную обработку. Обеспечение доступности таких массивов является ключевым фактором для получения результатов GenAI, отвечающих потребностям конечных пользователей.

При наличии автоматизации инфраструктура обеспечивает эластичность, необходимую для размещения, обучения и эволюции генеративного ИИ. Например, Terraform отлично подходит для создания облачных инфраструктур и их сноса, когда они больше не нужны. Это может быть полезно при переносе рабочих нагрузок из одного места в другое или при тестировании и прогнозировании объема хранилища, необходимого для рабочих нагрузок GenAI. Что касается постпродакшн, то Ansible можно использовать для инициализации или расширения целевого хранилища без прерывания текущей деятельности.

Создание инфраструктуры, готовой к ИИ, с помощью IaC

Средства генеративного ИИ требуют бóльших масштабируемости, повторяемости и надежности, чем все, что ранее создавалось путем объединения ПО и дата-центров. Именно для этого и предназначена практика IaC в многосайтовых операциях. Это как слоеный торт: без правильно приготовленных ингредиентов вы не сможете оценить глазурь сверху.