DPU (data processing units, процессоры обработки данных) завоевывают все большую популярность, поскольку их широко используют для ускорения работы искусственного интеллекта и машинного обучения, снимая нагрузку с центральных (CPU) и графических (GPU) процессоров при решении таких задач, как получение выводов и обучение нейронных сетей, сообщает портал Network Computing.

Изменения — постоянная составляющая технологической индустрии. И DPU — это новшество, которое сегодня обновляет центры обработки данных.

Почему? DPU лежит в основе реструктуризации вычислительной мощности, в результате которой оснащение серверов вышло далеко за рамки CPU и получило ряд специализированных процессоров, каждый из которых выполняет определенный набор задач, чтобы CPU мог летать.

Перенимая функции обработки данных от CPU, DPU способствуют модернизации дата-центров, что позволяет на треть сократить количество используемой для охлаждения электроэнергии, уменьшить число необходимых дорогостоящих серверов и одновременно повысить производительность.

Разгадка магии DPU

DPU — это устройства, которые дают операторам дата-центров возможность перестроить работу и получить значительные преимущества в виде снижения затрат на электроэнергию и консолидации серверов при одновременном повышении их производительности. DPU помогают серверам справляться с новыми рабочими нагрузками и повышать их эффективность.

Сегодня рабочие нагрузки и приложения стали гораздо более распределенными, они имеют дело с неструктурированными данными, такими как тексты, изображения и большие файлы. Они также используют микросервисы, что увеличивает трафик рабочих нагрузок «восток-запад» между дата-центром, периферией и облаком и требует производительности практически реального времени. Все это требует от инфраструктурных служб большей обработки данных без отвлечения вычислительных ресурсов от их важнейшей задачи — поддержки ежедневных бизнес-приложений.

DPU — это относительно новое устройство, которое перекладывает сложные задачи обработки данных с CPU на отдельную плату в сервере. Этот встроенный мини-сервер максимально оптимизирован для работы с сетью, системами хранения данных и задачами управления. Чем тут плох CPU? Поскольку обычный CPU не был разработан для таких интенсивных рабочих нагрузок в дата-центре, использование большего их количества на сервере может утяжелить его, что снизит производительность.

Использование DPU может, по вышеупомянутым причинам, сделать дата-центр намного более эффективным и менее затратным в эксплуатации, при этом повысив его производительность.

В эволюции вычислительных мощностей серверов вначале появился CPU, а затем GPU, который обрабатывает графику, изображения и видео, поддерживая игры. DPU могут работать вместе со своими предшественниками и выполнять более современные рабочие нагрузки с данными. Популярность DPU возросла благодаря разгрузке с их помощью задач обработки данных, таких как рабочие нагрузки ИИ, МО, IoT и 5G.

Важнейшие элементы, дополняющие DPU для обеспечения ваших рабочих нагрузок

Существует ряд элементов, которые могут эффективно и действенно помочь вашим DPU создать «команду», предназначенную для выполнения постоянно меняющихся и все более требовательных рабочих нагрузок в дата-центре. Работая как единое целое, эти процессоры могут помочь вам повысить эффективность обработки информации. К ним относятся:

GPU. Графические процессоры дополняют DPU в сервере, фокусируясь на обработке изображений и видео с высокой пропускной способностью, тем самым снимая эту сложную функцию с CPU. Такое дополнение к процессорной архитектуре позволяет DPU справиться с большим объемом данных, используя при этом меньше ресурсов.

CPU. Центральные процессоры состоят из пар мощных вычислительных ядер, которые оптимизированы для последовательной обработки данных. Это означает выполнение одной задачи за другой. В отличие от них, GPU имеют множество более простых ядер для параллельной обработки, что позволяет решать задачи одновременно. DPU сочетают в себе вычислительные ядра, аппаратные средства и ускорители, а также высокопроизводительный сетевой интерфейс, с помощью которого можно выполнять объемные задачи, ориентированные на данные.

Высокопроизводительная система хранения. Еще один элемент, дополняющий DPU, — высокопроизводительная система хранения данных. Поскольку DPU способствуют улучшенному управлению сетевым трафиком, повышают меры безопасности и улучшают обработку данных в хранилищах, результирующее повышение эффективности обычно приводит к общему росту производительности всей системы.

«СХД, наряду с высокопроизводительными сетями, дополняет инфраструктуру поддержки вычислений и очень важна при первоначальном планировании для обеспечения максимальной эффективности всех компонентов», — говорит Свен Оэме, технический директор DDN Storage.

Высокоскоростное сетевое подключение. Как правило, высокоскоростное сетевое подключение дополняет DPU, позволяя им справляться с самыми тяжелыми рабочими нагрузками, такими как ИИ. Эти приложения также требуют высокоскоростного ввода-вывода. Поэтому большинство DPU сегодня оснащены портами 100 Гбит/с, а в некоторых случаях — до 400 Гбит/с. В ближайшее время ожидаются более высокие поддерживаемые скорости.

Compute Express Link (CXL). CXL играет важную роль в повышении производительности дата-центров, поскольку это открытый стандарт межсоединений для обеспечения эффективного, когерентного доступа к памяти между хостом, например процессором, и устройством, например аппаратным ускорителем или интеллектуальной сетевой картой (Smart NIC).

Этот стандарт направлен на решение проблемы, известной как «узкое место фон Неймана», когда быстродействие компьютера ограничивается скоростью, с которой процессор может получать инструкции и данные из памяти. CXL решает эту проблему несколькими способами. Он использует новый подход к доступу к памяти и ее совместному использованию несколькими вычислительными узлами. Ускорители памяти могут быть дезагрегированы, что позволяет сделать дата-центры полностью программно-определяемыми.

FPGA (программируемые пользователем вентильные матрицы). FPGA могут дополнять DPU в обеспечении рабочих нагрузок. Существует несколько архитектур DPU, в том числе на базе SoC ARM, а также архитектуры на базе FPGA.

«DPU на FGPA имеют некоторые отличия от DPU на базе ARM в плане программной основы и разработки. Но недостатком FGPA является то, что их программирование обычно сложнее, чем ARM, — объясняет Барон Фунг, старший директор по исследованиям аналитической компании Dell’Oro Group. — Именно поэтому большинство интеллектуальных сетевых карт на базе FPGA развертываются гиперскейлерами и крупными облаками Tier 2».

IPU. Инфраструктурные процессоры (IPU, Infrastructure Processing Unit) — это аппаратные ускорители, предназначенные для разгрузки CPU от вычислительных инфраструктурных задач, таких как обработка пакетов, формирование трафика и виртуальная коммутация. IPU, как и DPU и CXL, привносит в дата-центр новый тип технологии ускорения.

В то время как GPU, FPGA, ASIC и другие аппаратные ускорители снимают вычислительные задачи с CPU, эти устройства и технологии направлены на ускорение обработки данных, их перемещения и работы с ними в сети.

Повышение производительности и энергоэффективности дата-центров с помощью DPU

Новый класс процессоров DPU способен повысить производительность серверов для ИИ-приложений. Он ориентирован на обработку данных в сети, эффективное перемещение данных по дата-центру, а также на разгрузку CPU от выполнения сетевых задач, задач безопасности и хранения данных.

Технологии DPU, IPU и CXL, которые разгружают серверные CPU от коммутационных и сетевых задач, также способны значительно повысить энергоэффективность дата-центров.

По оценкам Nvidia, около 30% вычислительной мощности сервера расходуется на выполнение сетевых функций и функций хранения данных, а также на ускорение других ключевых действий, включая шифрование, виртуализацию хранилища, дедупликацию и сжатие. Поэтому DPU в сочетании с другими функциональными ускорителями снижают энергопотребление, что означает экономию для вашей организации.

Особенности применения DPU в ИИ-инфраструктуре

DPU как таковые не обязательно привязаны к ИИ-инфраструктуре. В большинстве случаев одни и те же преимущества DPU применимы как к инфраструктуре ИИ, так и к инфраструктуре без ИИ — среди них преимущества управления несколькими арендаторами и безопасностью, разгрузка CPU, балансировка нагрузки и т. д. Однако одним из уникальных сценариев применения DPU в инфраструктуре ИИ является его использование для внутренних Ethernet-сетей кластеров GPU/ИИ-серверов. В случае с платформой Nvidia DPU является частью набора решений Spectrum-X, который позволяет создавать внутренние сети ИИ на базе Ethernet. Другие производители, такие как Broadcom, напротив, для организации таких сетей используют RDMA в своих сетевых картах.

Однако, как предупреждает Фунг, «при использовании в дополнение к CPU нескольких процессоров (таких как GPU и DPU) потребуются дополнительные затраты и работа по оптимизации ПО».

Балансировка использования GPU и CPU

Важно также знать, что DPU могут помочь улучшить использование как CPU, так и GPU. DPU могут разгрузить CPU от сетевых сервисов и сервисов, связанных с инфраструктурой хранения данных, что улучшает использование CPU. «Применение DPU не может напрямую повлиять на использование GPU. Однако DPU могут улучшить использование GPU благодаря многопользовательской поддержке, — объясняет Фунг. — Например, большой вычислительный ИИ-кластер, состоящий из тысяч GPU, можно разделить и использовать совместно для разных пользователей и приложений безопасным и изолированным образом».

Взгляд в будущее DPU

По данным KBV Research, DPU уже играют решающую роль в ИИ-приложениях — в обработке больших массивов данных и эффективном выполнении сложных алгоритмов, позволяя ускорить обучение и вывод моделей. В таких отраслях, как здравоохранение, финансы, розничная торговля и автономные транспортные средства, DPU используются в ИИ-решениях для таких задач, как распознавание изображений, обработка естественного языка и предиктивная аналитика.

Не стоит удивляться тому, что рынок DPU ожидает бурный рост. По прогнозам Allied Analytics, к 2031 г. мировой рынок DPU достигнет 5,5 млрд. долл., при этом в период с 2022 по 2031 гг. он ежегодно будет расти в среднем на 26,9%.