NVIDIA представила программное обеспечение для инференса, с помощью которого разработчики могут создавать диалоговые приложения искусственного интеллекта, обеспечивающие полностью интерактивное взаимодействие.
NVIDIA TensorRT 7 — пакет разработки ПО для инференса седьмого поколения открывает дверь в мир более передовых взаимодействий человека и ИИ и позволяет в реальном времени работать с такими приложениями, как голосовые агенты, чатботы и рекомендательные сервисы.
Согласно исследованиям Juniper Research, в мире используется 3.25 млрд цифровых голосовых помощников. К 2023 году эта цифра вырастет до 8 млрд, что превысит всё население Земли.
TensorRT 7 включает новый компилятор глубокого обучения, который автоматически оптимизирует и ускоряет всё усложняющиеся рекурентные нейросети и сети с архитектурой типа трансформер, необходимые для диалоговых ИИ-приложений. Он ускоряет компоненты диалогового ИИ более чем в 10 раз по сравнению с CPU, снижая латентность до 300 мс. А это именно тот порог, который необходим для взаимодействий реального времени.
«Мы открыли новую главу в ИИ, где машины стали понимать язык человека в реальном времени, — говорит учредитель и генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) на конференции GTC China. — TensorRT 7 позволяет воплотить все это в жизнь, предоставляя разработчикам инструменты для создания быстрых и умных диалоговых ИИ-сервисов, обеспечивающих более естественное взаимодействие человека и ИИ».
Крупнейшие инновационные компании мира уже берут на вооружение инструменты NVIDIA для ускорения диалогового ИИ, и среди них — Sogou, которая предоставляет поисковые сервисы для WeChat, самого популярного мобильного приложения.
«Sogou предоставляет качественные ИИ-сервисы, такие как голосовые возможности, изображения, перевод, диалог и вопросы и ответы миллионам пользователей каждый день, — сказал Янг Хонгтао (Yang Hongtao), технический директор Sogou. — Платформа инференса NVIDIA TensorRT позволяет нам обеспечить работу онлайн-сервисов в реальном времени. Такие возможности ИИ значительно улучшили пользовательские возможности наших сервисов».
TensorRT 7 ускоряет рост числа ИИ-моделей, используемых для предсказаний в сценариях работы с временными, последовательными данными, где применяются рекурентные циклические структуры (RNN). Помимо использования в диалоговых ИИ-сетях RNN помогают в составлении расписаний прибытий для автомобилей и спутников, предсказания событий в электронных врачебных записях, прогнозирования финансовых активов и обнаружения мошенничества.
Взрывной рост комбинаций RNN-конфигураций и функций привел к необходимости в быстром развертывании коммерческого кода, отвечающего критериям работы в реальном времени. Создание кода вручную приводило к многомесячным задержкам, поэтому диалоговый ИИ получил развитие у немногих компаний, обладающих необходимыми компетенциями.
С новыми компилятором глубокого обучения TensorRT разработчики по всему миру получили возможность автоматически оптимизировать такие сети, как уникальные сети автоматического распознавания речи и WaveRNN и Tacotron 2 для перевода текста в речь, обеспечивая максимально высокую производительность при минимальной латентности.
Новый компилятор также оптимизирует сети типа трансформер, такие как BERT для обработки естественного языка.
TensorRT 7 может быстро оптимизировать, валидировать и разворачивать обученные нейросети для инференса в гипермасштабируемых датацентрах, встроенных или автомобильных платформах на базе GPU.
Платформа инференса от NVIDIA, включающая TensorRT, а также несколько библиотек NVIDIA CUDA-X AI и GPU NVIDIA, обеспечивает инференс высокой пропускной способности с низкими задержками не только для диалоговых приложений, но и для классификации изображений, обнаружения мошенничества, сегментации, распознавания объектов и рекомендательных систем. Ее возможности широко используются ведущими корпоративными и потребительскими компаниями, включая Alibaba, American Express, Baidu, PayPal, Pinterest, Snap, Tencent и Twitter.
TensorRT 7 будет доступен в ближайшие дни, бесплатно для участников программы NVIDIA Developer, на странице TensorRT. Новейшие версии плагинов, анализаторов и семплов с открытым кодом также доступны в репозитарии TensorRT GitHub.
