Участники консорциума MLCommons заявили, что с помощью нейронной сети ResNet добились не только самого быстрого времени прогнозирования классификации изображений, но и получили данные о том, сколько энергии требуется для выполнения этой задачи, сообщает портал ZDNet.
Каждые несколько месяцев индустрия искусственного интеллекта запускает новейшие компьютерные системы машинного обучения. В то же время несколько лет назад ее представители начали проводить состязание, в котором поставщики процессоров, в том числе Nvidia и Qualcomm, а также их партнеры из числа производителей компьютеров, демонстрируют производительность многопроцессорных компьютеров на тестовых задачах, к которым относятся обнаружение объектов и классификация изображений. В этом году у участников конкурса появилась возможность выяснить, сколько энергии тратят такие массивно-параллельные компьютерные системы, что позволит получить представление о том, насколько энергоэффективными они являются. С этой целью в тест MLPerf добавлены стандартные отраслевые показатели, которые измеряют, сколько электроэнергии (в ваттах и джоулях) потребляется компьютерами для выполнения той или иной задачи.
Эта работа заняла примерно полтора года, сообщил Дэвид Кантер, исполнительный директор MLCommons, отраслевого консорциума, курирующего разработку MLPerf. «Проект MLPerf Power Project позволяет нам проводить измерение мощности всей системы», — сказал он на брифинге для прессы, посвященном результатам MLPerf. Как заявляет консорциум, Power Project измеряет «среднюю мощность переменного тока (и косвенно энергию), потребляемую всей системой при выполнении теста производительности».
Проект тестирует серверы или периферийные компьютеры. Сервер — это, например, Dell PowerEdge с двумя процессорами Intel Xeon и четырьмя ускорителями Nvidia T4, которые выполняют бóльшую часть работы ИИ. Периферийный компьютер, напротив, может быть машиной Raspberry Pi с одним ARM-процессором Cortex-A72 и без ускорителя, или, в качестве альтернативы, сервером Nvidia Jetson AGX Xavier с одним ускорителем Nvidia Carmel.
MLPerf предлагает электронную таблицу с результатами, не выделяя кого-либо из участников тестирования, и позволяет сделать свои собственные выводы. На этот раз в тестировании участвовало 16 претендентов, включая Nvidia, Qualcomm, Dell, стартап Krai и Fujitsu. Не в каждой заявке предлагались измерения мощности, но в общей сложности MLCommons удалось получить 850 различных результатов измерений для серверов и периферийных компьютеров.
Чтобы сделать выводы об энергоэффективности машин на основе измеренных значений мощности и производительности, необходимо объяснить некоторые арифметические операции. Например, результаты в категории машин, которые использовали ResNet для обработки набора данных ImageNet из 15 млн. объектов путем деления числа запросов в секунду на общую мощность показывают, что система Qualcomm, использующая два
Потребление энергии и производительность — это обычно компромисс: если улучшить одно, то другое ухудшится. На практике компьютеры обычно оптимизируют в плане или производительности, или энергоэффективности, а не стремятся их сбалансировать. «В общем, если вы посмотрите на большинство кремниевых технологий, вы увидите компромисс между напряжением и частотой, — сказал Кантер. — Общее правило состоит в том, что мощность будет увеличиваться или понижаться пропорционально квадрату изменения напряжения». Напряжение обычно повышается до достижения заданной тактовой частоты.
Тесты позволяют компаниям-заявителям использовать как собственную версию алгоритма нейронной сети, так и стандартную модель, единую для всех. Так, например, в первом испытании, называемом «Open», поставщик может предоставить результаты, используя ресурсоэффективную сверточную нейронную сеть Mobilenet, представленную в 2017 г. Эндрю Г. Ховардом и его коллегами из Google.
В испытании «Closed» все участники используют стандартную сверточную нейронную сеть ResNet, которая используется в тестировании на протяжении многих лет. Как следствие, показатели мощности, предлагаемые в отчете, отражают не только энергоэффективность машины, но и энергоэффективность данного алгоритма нейронной сети.
Некоторые участники сделали заявления относительно точности измерения потребления компьютерами электроэнергии, сославшись на то, что соотношение времени использования/простоя может повлиять на оценку энергоэффективности. «При выполнении логических операций на периферии сети, где у вас есть потоковые данные, вы не используете даже 10% пиковых TOPS [триллионов операций в секунду], тем не менее сжигая много энергии в статике, — сказал Хамид Реза Зохури, директор по продукту стартапа-разработчика чипов-ускорителей EdgeCortix. — Таким образом, степень использования чипа может сыграть большую роль, что потенциально может повысить практическую эффективность использования энергии, поскольку вы не тратите ее вхолостую».
Некоторые поставщики заявили, что выполнение работ в кратчайшие сроки все еще имеет первостепенное значение. «Если нужно выполнить определенный объем работы, то выполнив ее быстрее, вы, как правило, получаете преимущество, — заметил Дейв Салватор, старший менеджер по маркетингу продуктов Nvidia Accelerated Computing Group. — В случае с приложениями реального времени речь идет о том, чтобы обслуживать потребителей действительно в режиме реального времени, достигать SLA и обеспечивать отличные пользовательские возможности».
В настоящее время представленные данные о потреблении энергии крупнейших нейронных сетей могут быть более полезными для получения более полного представления об их поведении. Например, при использовании языковой модели Google BERT для ответов на вопросы из наборов Standford Question Answering Dataset или SQuAD версии 1.1 (основан на данных из Википедии), среднее быстродействие всех систем составляет 16 398 ответов на запросы в секунду, обработка которых требует 2,4 кВт электроэнергии. Это один из способов учесть затраты энергии на ответы на постоянно задаваемые вопросы. Такие данные, измеряемые регулярно, могли бы принести пользу при обсуждении стоимости расходуемой на ИИ энергии в будущем.
MLCommons рассматривает себя как связующее звено между промышленностью и академическими кругами, имеет широкие полномочия продвигать разработку и предоставлять доступ к новейшим наборам данных и моделям ИИ и машинного обучения, передовому опыту, контрольным тестам и метрикам. У консорциума есть учредительный совет, в который входят представители Alibaba, Facebook AI, Google, Intel и Nvidia, а также Виджай Джанапа Редди, руководитель Edge Computing Lab в Гарвардском университете.
