После того как Nvidia анонсировала свои графические процессоры Blackwell, Intel, AMD, гиперскейлеры и стартапы в области чипов для искусственного интеллекта готовятся к выпуску собственных чипов для центров обработки данных. Портал Data Center Knowledge рассказывает о новых разработках и предстоящих релизах 2024 г.
Введение
Nvidia недавно произвела фурор, анонсировав свои графические процессоры нового поколения Blackwell, но оставшаяся часть 2024 г. обещает быть напряженной на рынке чипов для дата-центров, поскольку конкурирующие чипмейкеры готовятся к выпуску новых процессоров.
По словам аналитиков, ожидается, что AMD и Intel выпустят новые конкурирующие процессоры для дата-центров, а другие производители, включая гиперскейлеры и стартапы, планируют представить новые ИИ-чипы, чтобы удовлетворить растущий спрос на рабочие нагрузки ИИ.
Так, 9 апреля Intel подтвердила, что ее новый ускоритель Gaudi 3 для обучения ИИ и составления заключений (выводов) ИИ (AI inferencing) будет доступен в III кв. 2024 г., а 10 апреля Meta (компания признана экстремисткой и запрещена в РФ) объявила, что ее процессор следующего поколения для составления ИИ-заключений запущен в производство и уже сегодня используется в ее дата-центрах.
По словам Маноджа Сукумарана, главного аналитика Omdia по ИТ дата-центров, рост продаж серверов в 2024 г. оценивается на уровне 6% в количественном измерении (с 10,8 млн. шт. 2023 г. до 11,5 млн. шт. в
«Несмотря на то, что объемы поставок увеличиваются незначительно, доходы растут довольно быстро, потому что в серверах используется много чипов, и в результате цены на серверы значительно растут, — отмечает Сукумаран. — Это огромная возможность для поставщиков чипов».
Сопроцессоры — горячий товар
Операторы дата-центров проявляют большой аппетит к «сопроцессорам» — микропроцессорам, предназначенным для дополнения и расширения возможностей основного процессора.
По словам Сукумарана, традиционно рынок серверов для дата-центров был ориентирован на центральные процессоры (CPU), причем эти процессоры были самыми дорогими компонентами в серверах общего назначения. В 2020 г. сопроцессоры были установлены только в 11% серверов, но к 2028 г., как ожидается, более 60% серверов будут оснащены сопроцессорами, которые не только увеличат вычислительную мощность, но и повысят эффективность.
По словам Сукумарана, такие сопроцессоры, как графические процессоры (GPU) Nvidia H100 и AMD MI300, тензорные процессоры (TPU) Google Cloud и другие специализированные интегральные схемы (ASIC), пользуются популярностью, поскольку они позволяют обучать ИИ, делать ИИ-заключения, ускорять работу баз данных, разгружать сеть и функции безопасности, а также транскодировать видео. Транскодирование видео — это процесс, который позволяет Netflix, YouTube и другим потоковым медиа оптимизировать качество видео для различных пользовательских устройств, от телевизоров до смартфонов.
CPU: AMD и Intel vs. ARM
Рынок CPU остается прибыльным. Intel по-прежнему лидирует, но CPU от AMD и ARM-процессоры, например, от стартапа Ampere и облачных провайдеров, в последние годы подорвали доминирующее положение Intel.
По данным Omdia, хотя Intel принадлежит 61% рынка CPU, AMD набрала значительные обороты, увеличив свою долю с менее 10% поставок серверных устройств в 2020 г. до 27% в 2023 г. В прошлом году ARM-процессоры заняли 9% рынка.
«За последние несколько лет экосистема программного обеспечения ARM достаточно развилась, а низкое энергопотребление и высокая плотность ядер CPU архитектуры ARM привлекательны для поставщиков облачных сервисов», — говорит Сукумаран.
В подтверждение этих слов 9 апреля Google Cloud объявила о том, что ее первые CPU на базе ARM, названные Google Axion Processors, будут доступны клиентам в конце этого года.
В этом году Intel намерена восстановить свои позиции на рынке CPU, выпустив серверные процессоры нового поколения. Новые процессоры Intel Xeon 6 с ядрами E (кодовое название «Sierra Forest»), предназначенные для гиперскейлеров и облачных провайдеров, которым важны энергоэффективность и производительность, ожидаются во II кв. 2024 г. Вскоре за этим последует запуск новых процессоров Xeon 6 с ядрами P (кодовое название «Granite Rapids»), которые ориентированы на высокую производительность.
Однако AMD не сидит на месте и планирует выпустить свой CPU пятого поколения EPYC под названием Turin.
«AMD далеко не всегда была лидером по производительности и проделала огромную работу, отбирая долю рынка у Intel. Почти все это происходило в облаках гиперскейлеров, и AMD стремится расширить свои достижения и за счет локальных инфраструктур предприятий, — говорит Мэтт Кимбалл, вице-президент и главный аналитик Moor Insights & Strategy. — В 2024 г. Intel снова станет конкурентоспособной в области серверных CPU с точки зрения производительности».
Чипмейкеры начинают фокусироваться на ИИ-выводах
Компании всех вертикалей наперегонки строят модели ИИ, поэтому обучение ИИ по-прежнему будет играть огромную роль. Но в 2024 г. начнет формироваться рынок микросхем для ИИ-выводов, считает Джим Макгрегор, основатель и главный аналитик Tirias Research.
«Налицо сдвиг в сторону выводов, — говорит он. — Мы наблюдаем появление большого количества рабочих нагрузок ИИ и генеративного ИИ. Предприятия обучили модели. Теперь им нужно запускать их снова и снова, и они хотят выполнять эти нагрузки как можно эффективнее. Поэтому ожидайте появления новых продуктов от вендоров».
По словам Макгрегора, Nvidia доминирует в сфере ИИ благодаря своим GPU, но AMD сделала жизнеспособное конкурентное предложение, выпустив в декабре 2023 г. GPU серии Instinct MI300 для обучения и выводов ИИ.
Хотя GPU и даже CPU используются как для обучения, так и для выводов, все больше компаний, включая Qualcomm, гиперскейлеров типа AWS, Meta, а также стартапы в сфере ИИ-чипов, такие как Groq, Tenstorrent и Untether AI, уже создали или разрабатывают чипы специально для ИИ-выводов. Аналитики также отмечают, что эти чипы более энергоэффективны.
По словам Кимбалла, графические процессоры Nvidia H100 или AMD MI300 хорошо подходят для обучения, поскольку они большие, с большим количеством ядер и высокопроизводительной памятью с высокой пропускной способностью. «ИИ-выводы — более легкая задача. Для нее не нужна мощность H100 или MI300», — отмечает он.
Лучшие чипы для дата-центров в 2024 г. — открытый список
Вот список процессоров, выход которых ожидается в 2024 г. Очевидно он будет обновляться по мере того, как компании будут делать новые анонсы и выпускать новые продукты.
AMD. Компания планирует запустить Turin, свой серверный процессор нового поколения, во второй половине 2024 г. «Turin — это замена существующих платформ EPYC
Никаких конкретных подробностей о Turin не сообщается. Но Кимбалл считает, что Turin будет иметь для AMD большое значение, поскольку компания будет стремиться еще больше выделиться на фоне Intel с точки зрения производительности и удельной производительности на ватт.
По словам Су, AMD также наблюдает огромный спрос на свои ускорители Instinct MI300, включая графический процессор MI300X, с момента их запуска в декабре 2023 г. Компания планирует активно наращивать производство MI300 в этом году для облачных, корпоративных и суперкомпьютерных клиентов.
Intel. Руководство компании планирует в этом году несколько крупных выпусков чипов: ИИ-ускоритель Gaudi 3 и серверные процессоры Xeon нового поколения.
Gaudi 3 будет предназначен для обучения и составления заключений ИИ и ориентирован на корпоративный рынок. Он призван конкурировать с графическими процессорами Nvidia и AMD. По словам руководителей Intel, чип будет обладать в 4 раза большей производительностью ИИ-вычислений и в 1,5 раза большей пропускной способности памяти, чем его предшественник Gaudi 2.
По прогнозам, Gaudi 3 обеспечит на 50% более быстрое обучение и составление выводов, а также на 40% более высокую энергоэффективность при составлении выводов по сравнению с графическим процессором H100 от Nvidia, утверждают руководители Intel.
«Это будет конкурентоспособно благодаря огромной экономии энергии и более низкой цене», — считает Кимбалл.
Что касается процессоров Intel Xeon 6 нового поколения, то в Sierra Forest будет представлена версия с 288 ядрами, что станет самым большим количеством ядер в отрасли. Это также первый серверный процессор «E-core», разработанный для обеспечения баланса между производительностью и энергоэффективностью.
Granite Rapids — это «P-core» серверный процессор, предназначенный для достижения максимальной производительности. По словам представителей компании, он в
Gaudi 3 будет доступен для OEM-производителей во II кв. 2024 г., а его общая доступность ожидается в III кв. Sierra Forest, который теперь называется Xeon 6 с ядрами E, ожидается во II кв. 2024 г. Процессоры Granite Rapids, которые теперь называются Xeon 6 с ядрами P, по словам, представителей Intel, появятся «вскоре после этого».
Nvidia. В середине марта компания объявила о начале поставок графических процессоров Blackwell следующего поколения в конце этого года, что, по мнению аналитиков, позволит чипмейкеру и дальше доминировать на рынке ИИ-чипов.
Новое семейство графических процессоров Blackwell, предназначенное для облачных провайдеров и предприятий, обеспечивает производительность 20 Пфлопс на одном GPU и позволит организациям обучать модели ИИ в четыре раза быстрее, повысить производительность вычислений ИИ в 30 раз и сделать это с
Nvidia также выпустит H200 на базе Hopper во II кв. 2024 г. Недавно компания объявила о новых бенчмарках, показывающих, что это ее самая мощная платформа для выполнения нагрузок генеративного ИИ: H200 работает на 45% быстрее, чем H100, при вычислении модели Llama 2 с 70 млрд. параметров.
Ampere. В мае прошлого года компания, возглавляемая бывшим президентом Intel Рене Джеймсом, объявила о выпуске нового семейства серверных процессоров AmpereOne, совместимых с ARM и имеющих до 192 ядер.
Они предназначены для поставщиков облачных услуг и обеспечивает высокую производительность при высокой энергоэффективности.
AWS. AWS относится к числу гиперскейлеров, которые сотрудничают с крупными производителями чипов, такими как Nvidia, AMD и Intel, и используют их процессоры для предоставления облачных услуг клиентам. Но они также считают выгодным и экономически эффективным создание собственных чипов для оснащения собственных дата-центров и предоставления облачных услуг.
В этом году AWS выпустит Graviton4, CPU на базе ARM для рабочих нагрузок общего назначения, и Tranium2 для обучения ИИ. В прошлом году компания также представила Inferentia2, чипы второго поколения для ИИ-выводов, отмечает Гади Хатт, старший директор по развитию продуктов и бизнеса лаборатории AWS Annapurna Labs. «Наша цель — предоставить клиентам свободу выбора и обеспечить им высокую производительность при значительно меньших затратах», — говорит он.
Tranium2 будет иметь в четыре раза больше вычислительной мощности и в три раза больше памяти, чем первый Tranium. Если первый чип Tranium используется в AWS в кластере из 60 000 чипов, то Tranium2 будет доступен в кластере из 100 000 чипов, отмечает Хатт.
Microsoft Azure. Недавно Microsoft анонсировала ускоритель Microsoft Azure Maia 100 AI Accelerator для задач ИИ и генеративного ИИ, а также CPU Cobalt 100 на базе ARM для вычислительных нагрузок общего назначения.
В ноябре 2023 г. компания заявила, что сначала начнет развертывание этих двух процессоров в
ИИ-ускоритель Maia предназначен для обучения и создания выводов ИИ, а процессор Cobalt — это энергоэффективный чип, обеспечивающий высокую удельную производительность на ватт, сообщает компания.
Google Cloud. Компания является первопроходцем среди гиперскейлеров: в 2013 г. она впервые представила свои собственные тензорные процессоры (TPU). Эти процессоры, предназначенные для обучения и составления выводов ИИ, доступны в облаке Google. Они также используются в сервисах Google, таких как Search, YouTube, Gmail и Google Maps.
Компания представила TPU пятого поколения в конце прошлого года. По словам ее представителей компании, Cloud TPU v5p может обучать модели в 2,8 раза быстрее, чем его предшественник.
10 апреля Google Cloud объявила о разработке своих первых процессоров на базе ARM, получивших название Google Axion Processors. Новые CPU, созданные на базе процессора Arm Neoverse V2, будут доступны клиентам Google Cloud в конце этого года. По словам представителей компании, клиенты смогут использовать Axion во многих сервисах Google Cloud, включая Google Compute Engine, Google Kubernetes Engine, Dataproc, Dataflow и Cloud Batch.
Кимбалл ожидает, что из-за того, что Google Cloud начнет применять собственные процессоры для обслуживания своих клиентов, доходы AMD и Intel снизятся. «Для Google это история о том, как обеспечить нужную производительность при нужной мощности и правильной структуре затрат для предоставления услуг клиентам. Вот почему это важно для Google, — говорит он. — Они думают о своих дата-центрах. У них есть бюджет на электроэнергию, есть определенные соглашения об уровне обслуживания, есть определенные требования к производительности, которым они должны соответствовать. И они разработали чип, который отвечает всем этим требованиям».
Meta. 10 апреля компания сообщила, что развернула в своих дата-центрах специализированный чип нового поколения для ИИ-выводов. Этот чип, ранее имевший кодовое название Artemis, является частью семейства специализированных чипов Meta Training and Inference Accelerator (MTIA), предназначенных для собственных рабочих ИИ-нагрузок Meta.
В прошлом году компания представила чип первого поколения, MTIA v1. По словам ее представителей, чип нового поколения обеспечивает в 3 раза более высокую производительность и в 1,5 раза более высокую удельную производительность на ватт по сравнению с чипом первого поколения.
Cerebras. В середине марта Cerebras Systems представила свой ИИ-процессор третьего поколения WSE-3. Этот чип уровня пластины (wafer-sized) удваивает производительность своего предшественника и конкурирует с Nvidia в верхнем сегменте рынка обучения ИИ.
В середине марта компания также заключила партнерство с Qualcomm, чтобы предоставлять своим клиентам возможности получения ИИ-выводов. Модели, обученные на аппаратном обеспечении Cerebras, оптимизированы для получения выводов на ускорителе Qualcomm Cloud A100 Ultra.
Groq. Это калифорнийский стартап, занимающийся разработкой ИИ-чипов, который создал LPU Inference Engine для запуска больших языковых моделей, приложений генеративного ИИ и других рабочих нагрузок ИИ.
Groq, выпустивший свой первый чип для ИИ-выводов в 2020 г., ориентирован на гиперскейлеров, крупные предприятия, государственный сектор, ИИ-стартапы и разработчиков. По словам представителя компании, чип следующего поколения будет выпущен в 2025 г.
Tenstorrent. Это канадский стартап, занимающийся ИИ-выводами. Его генеральный директор — Джим Келлер, архитектор чипов, который работал в Apple, AMD, Tesla и Intel и помогал разрабатывать архитектуру AMD Zen и чипы для ранних моделей Apple iPad и iPhone.
По словам Боба Грима, вице-президента Tenstorrent по стратегии и корпоративным коммуникациям, компания начала принимать заказы на свои чипы Wormhole AI inferencing, а официальный запуск состоится позднее в этом году. Стартап продает серверы на базе 32 чипов Wormhole предприятиям, лабораториям и организациям, нуждающимся в высокопроизводительных вычислениях. В настоящее время Tenstorrent сосредоточена на ИИ-выводах, но ее чипы также могут обеспечивать обучение ИИ, поэтому в будущем компания планирует поддерживать эту функцию.
Untether AI. Это еще один канадский стартап, создающий чипы для энергоэффективного получения ИИ-выводов.
Компания, президентом которой является Крис Уокер, бывший корпоративный вице-президент и генеральный менеджер Intel, отгрузила свой первый продукт в 2021 г. и планирует выпустить чип второго поколения SpeedAI240 в этом году.
Чипы Untether AI разработаны для различных форм-факторов, от однокристальных устройств для встраиваемых приложений до
