Сбер продолжает развивать русскоязычную нейросеть ruGPT-3, которая способна генерировать очень сложные осмысленные тексты всего лишь по одному запросу на «человеческом» языке. С момента презентации нейросети на AI Journey 2020 количество её параметров выросло почти вдвое — с 760 млн до 1,3 млрд. Это огромный шаг вперёд в обработке естественного языка методами искусственного интеллекта в России.
GPT-3 (Generative Pre-trained Transformer) — крупнейшая языковая модель в мире, разработанная компанией OpenAI для решения любых задач на английском языке. На русском языке, более сложном с точки зрения структуры, до появления ruGPT-3 аналогичных качественных моделей не существовало. Отечественная GPT-3 постоянно обучается на суперкомпьютере Сбера «Кристофари» на гигантском массиве данных, так что её возможности растут с каждым днём.
RuGPT-3 может не только создавать тексты любого профиля (новости, романы, стихи, пародии, техническую документацию и так далее), но также исправлять грамматические ошибки, вести диалоги и писать программный код. По сути, это прообраз общего, или сильного, искусственного интеллекта (Artificial General Intelligence, AGI), способного решать разноплановые задачи в различных сферах деятельности.
«На международной конференции AI Journey в декабре 2020 года мы представили ruGPT-3 и анонсировали дальнейшее наращивание её возможностей. Совместно с командой из SberDevices мы выполняем это обещание и уже довели число параметров нейросети с 760 млн до 1,3 млрд. Этот количественный рост означает качественное улучшение „интеллекта“ системы, её способности решать новые задачи на уровне, сопоставимом с человеческим, или выше него. Но вычислительные мощности нашего суперкомпьютера „Кристофари“ позволяют нам ставить ещё более амбициозные цели, так что 1,3 млрд параметров — это только начало», — отметил Александр Ведяхин, первый заместитель председателя правления Сбербанка.
Сеть ruGPT-3 XL на 1,3 млрд параметров на данный момент занимает первое место в лидерборде (рейтинге) нейросетей Russian SuperGLUE. С помощью метода few-shot модель без какого-либо обучения лучше всех выполнила следующие задачи: выбор лучшего решения в заданных условиях (+10% точности по сравнению с предыдущей версией на 760 млн параметров); ответы на вопросы по тексту (+3% точности); машинное чтение (тест на понимание общего смысла текста) (+32% точности).
Лидерборд Russian SuperGLUE — первый рейтинг нейросетей для русского языка. Место в рейтинге зависит от того, насколько качественно нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание смысла текста. Лидерборд разработан командой AGI NLP. Это открытый проект, которым пользуются все исследователи данных, работающие с русскоязычными нейросетями. Результаты рейтинга публикуются на сайте.
