На протяжении последних нескольких десятилетий достигнут внушительный прогресс в скорости машинного обучения. Это стало возможным благодаря использованию графических процессоров, массивов программируемой логики FPGA и специализированных микросхем (ASIC). Но для того, чтобы обеспечить дальнейшее ощутимое ускорение процесса обучения, требуются новые разработки. Одной из них может стать технология, разработанная сотрудниками Исследовательского центра Уотсона компании IBM. Учёными был создан новый чип Resistive Processing Unit (RPU), способный обеспечить существенное ускорение процесса глубокого обучения нейросетей (Deep Neural Networks, GNN) в сравнении с существующими процессорами при сравнительно меньшем энергопотреблении.
В основе новой разработки — комбинация технологий энергонезависимой памяти следующего поколения — фазовой (PCM) и резистивной (RRAM). По словам исследователей, один RPU позволит сократить до нескольких часов задачи по обучению нейронных сетей, на решение которых сейчас требуется несколько дней работы вычислительного кластера уровня дата-центра. Разработчики процессора рассчитали, что при наличии 1 млрд. нейронных связей один новый чип справится с задачей в 30 тыс. раз быстрее по сравнению с современными процессорами, используемыми в машинном обучении.
«Система с несколькими RPU позволит решать проблемы больших данных с триллионами параметров, которые сегодня решить невозможно. К таким задачам относятся, например, распознавание естественного языка и перевод между всеми языками мира, анализ крупных потоков коммерческих и научных данных в реальном времени, обработка данных с огромного количества датчиков Интернета вещей», — говорится в работе исследователей. Указанное преимущество в скорости достигается «благодаря специальной конструкции системы, разработанной с учетом особенностей резистивных устройств». Что же касается изготовления резистивных процессоров, то для этого подойдут современные технологии CMOS, говорится в докладе.
Однако воплотить описанную концепцию на уровне коммерческих решений, скорее всего, удастся не ранее, чем через несколько лет, когда указанные технологии памяти «дотянутся» до рынка. Важно, что помимо самой IBM разработка специалистов Исследовательского центра Уотсона, вероятнее всего, окажется в центре внимания Google и других ИТ-гигантов, уже включившихся в многолетнюю гонку за право первыми обуздать возможности искусственного интеллекта. И это, в свою очередь, станет дополнительным мощным стимулом для скорейшего внедрения технологии на уровне коммерческих продуктов.
