При тщательном управлении организации могут использовать возможности искусственного интеллекта, обеспечивая безопасность, соответствие нормативным требованиям и экономическую эффективность облачной среды, пишет на портале The New Stack Идо Ниман, генеральный директор и соучредитель компании Firefly.

В последние годы, а особенно с ноября 2022 г., когда был запущен ChatGPT, ИИ беспрецедентно мощно стимулирует инновации, преобразуя различные отрасли и способы ведения бизнеса. Сегодня любая компания и ее руководство понимают, что ИИ должен стать частью их будущей стратегии, иначе они останутся позади. Именно поэтому мы наблюдаем гонку за внедрением максимально возможных инноваций на базе ИИ. Это в значительной степени является побочным эффектом демократизации ИИ, которая сделала его доступным для широких масс — от пользователей до инноваторов.

Сегодня технологические руководители говорят своим инженерным командам: «Нам нужна ИИ-история прямо сейчас», мало заботясь о том, как это в конечном итоге будет реализовано в их системах. Но это реальная гонка, и у нее есть свои собственные уникальные последствия, особенно для тех, кто управляет облачной инфраструктурой. Эта гонка за ИИ приводит к возникновению технического ИИ-долга в беспрецедентных масштабах, и понимание этих последствий имеет решающее значение для обеспечения эффективности, безопасности и рентабельности наших облачных сред.

Двойное влияние ИИ

Как компания, занимающаяся управлением облачными активами, мы являемся свидетелями разрушительного воздействия ИИ (об этом говорят наши телеметрические данные) в условиях сильно растущего использования облачных ИИ-сервисов и активов. От графических процессоров до управляемых баз данных с расширенным поиском (RAG), больших языковых моделей (LLM) и всего остального — все эти ИИ-инновации построены на одних из самых дорогостоящих облачных ресурсов на сегодняшний день. Мы настоятельно рекомендуем вам проверить затраты на управляемые графовые базы данных.

Влияние ИИ двояко: оно затрагивает как потребителей, так и инфраструктуру, которая его поддерживает. Для потребителей все важнее, чтобы код, генерируемый ИИ, был понятен и совместим с их средой. Это включает в себя обеспечение того, чтобы ИИ-приложения отвечали существующим политикам, протоколам безопасности и требованиям соответствия.

Что касается инфраструктуры, то ИИ требует значительных ресурсов и масштабируемости. В недавнем отчете Datadog «State of Cloud Costs 2024» отмечается 40%-ный рост расходов на экземпляры GPU, поскольку организации экспериментируют с ИИ, и только расходы на экземпляры GPU теперь составляют 14% расходов на вычисления. За последний год удвоились расходы на Arm, которая является новой основой ИИ-разработок и выбранной архитектурой для таких процессоров, как Graviton от AWS, которые питают эту ИИ-революцию.

Такой резкий рост потребностей в ресурсах и расходов на облачные вычисления может привести к росту технического ИИ-долга, на который начинают сетовать многие технические директора. Мы находимся на том этапе, когда скорость развития ИИ часто опережает способность организации эффективно управлять и оптимизировать его. Это проявляется в запуске дорогостоящих машин без их надлежащего демонтажа и очистки, в результате чего расходы на облако выходят из-под контроля. Это, а также неправильное управление данными и их подача в модели и машины, которые впоследствии неправильно используют их в неожиданных целях, — вот лишь некоторые примеры.

Баланс между инновациями и управлением

Хотя ИИ открывает невероятные возможности для инноваций, он также проливает свет на необходимость переоценки существующей системы управления, чтобы включить в нее ИИ-разработки. Исторически метрики DORA были введены для количественной оценки элитных инженерных организаций на основе двух важнейших категорий — скорости и безопасности. Сама по себе скорость не является показателем элитности инженерной деятельности, если полностью игнорировать аспекты безопасности. ИИ-разработка не может оставаться в стороне, когда речь идет о безопасности приложений, управляемых ИИ.

Выполнение ИИ-приложений в соответствии со стандартами конфиденциальности данных, управления, FinOps и политиками сейчас как никогда важно, пока этот технический долг не вышел из-под контроля и конфиденциальность данных не была нарушена машинами, которые больше не контролируются человеком.

Конечно, данные — не единственное, что стоит на кону. Затраты и поломки также должны быть учтены.

Произошедшая в прошлом месяце авария CrowdStrike научила нас тому, что даже простые на первый взгляд изменения в коде могут вывести из строя целые критически важные системы глобального масштаба, если их не выпускать и не регулировать должным образом. Это подразумевает применение строгих политик в отношении данных, экономии средств, проверки на соответствие требованиям и всестороннюю маркировку ресурсов, связанных с ИИ.

Недавнее приобретение Qwak.ai компанией JFrog — еще одно свидетельство того, что компании с достаточно глубокими карманами будут скупать новых игроков на рынке ИИ для ускорения вывода на рынок конкурирующих ИИ-решений. Поскольку сегодня более 50% программистов регулярно используют ИИ для написания или дополнения кода, любые инструменты и платформы, обещающие бóльшую гибкость в этой области, становятся предметом пристального внимания и интереса для потенциальных приобретений. Следите за новостями на этом фронте.

Одним из интересных моментов, возникших в ходе последних ИИ-исследований и разработок, является качество кода (если говорить о метриках DORA). Недавний отчет GitClear «Coding on Copilot: 2023 Data Suggests Downward Pressure on Code Quality» свидетельствует о том, что ИИ негативно влияет на качество кода. В нем говорится о значительном росте напрасной работы с кодом (code churn) и серьезном снижении его повторного использования.

Некоторые из недавних критических замечаний в адрес ИИ говорят о том, что текстовые ИИ-помощники отлично подходят для анализа огромного количества текстовых данных. Именно поэтому ИИ-помощники способны дополнить типичный текст и добиться результатов выше среднего, когда речь идет о создании креативных или функциональных текстов. Однако с кодом дело обстоит иначе.

Большая часть доступного кода, который можно исследовать для моделирования ИИ, на самом деле имеет качество ниже среднего. К нему относятся ранние проекты начинающих инженеров и студентов, а также открытый код, который не используется в коммерческих целях. Для создания производительного, экономически эффективного и качественного кода требуются многие годы экспертизы в данной области. Тем не менее, такие репозитории часто анализируются и собираются для больших языковых моделей (LLM), что делает качество кода, сгенерированного с помощью ИИ, на данный момент ниже среднего по сравнению с качеством кода старших инженеров. Репозитории высококачественного кода часто являются закрытыми и принадлежат коммерческим приложениям, недоступным для LLM для моделирования данных.

Это подчеркивает важность интеграции ИИ-инноваций с надежными структурами управления. Менеджеры облачных активов должны обладать инструментами и знаниями для эффективного мониторинга и управления рабочими нагрузками ИИ в их контексте, понимая нюансы сложных систем, которыми они управляют. Это включает в себя обеспечение видимости ИИ-операций и строгое соблюдение политик управления.

Подготовка к будущему ИИ

Заглядывая в будущее, необходимо задаться вопросом: что будет происходить в области управления ИИ в перспективе? Для организаций, не разрабатывающих собственные LLM или модели, акцент будет смещен на управление дорогостоящей облачной инфраструктурой. При этом необходимо будет соблюдать те же принципы управления и экономичности, что и при работе с любым другим облаком.

Организации должны разработать стратегии, позволяющие сбалансировать инновации, которые приносит ИИ, с необходимостью более тщательного управления. Это предполагает использование инструментов и платформ, учитывающих особенности ИИ, которые обеспечивают видимость и контроль над ИИ-ресурсами. Таким образом, компании смогут, с одной стороны, направить мощь ИИ на достижение более высоких целей, а с другой — обеспечить безопасность, соответствие требованиям и экономическую эффективность облачной среды.

Поскольку ИИ продолжает стимулировать инновации, его влияние на облачную инфраструктуру и управление нельзя упускать из виду. Баланс между преимуществами ИИ и эффективными методами управления и регулирования является ключом к обеспечению устойчивости ИИ-инноваций на основе развивающихся облачных технологий.