NVIDIA представила значимую исследовательскую работу, которая позволит разработчикам впервые отрисовывать полностью синтетические интерактивные 3D-окружения с помощью модели, обученной на видео реального мира.

Исследователи NVIDIA использовали нейросеть для рендеринга синтетического 3D-окружения в реальном времени. В настоящий момент каждый объект в виртуальном мире нужно индивидуально моделировать, что затратно как с точки зрения финансов, так и с точки зрения времени. Команда же NVIDIA для отрисовки зданий, деревьев и транспорта использует модели, автоматически обученные на видео из реальной жизни.

Новая технология позволит быстро создавать виртуальные миры для игр, автомобильной промышленности, архитектуры, робототехники и виртуальной реальности. Например, сеть может сгенерировать интерактивные сцены на базе локаций реального мира или показать пользователям, как танцуют их любимые звезды.

«NVIDIA ищет новые пути создания интерактивной графики вот уже 25 лет, и впервые это стало возможным с помощью нейронных сетей, — прокомментировал Брайан Катанзаро (Bryan Catanzaro), вице-президент по глубокому обучению в NVIDIA, руководитель данного проекта. — Нейросети — а именно генеративные модели — кардинально изменят процесс создания графики. Теперь у разработчиков, особенно в игровой сфере и автоиндустрии, расходы на создание сцен станут на порядок меньше».

Результат исследования представлен на конференции NIPS в виде простой гоночной игры, где участникам предстоит управлять машиной в городских локациях. Весь контент отрисовывается интерактивно с помощью нейросети, которая трансформируют скетчи 3D-мира, сделанные на традиционном игровом движке, в видео.

Чтобы достичь подобного уровня интерактивности графики, генеративная нейросеть научилась моделировать миры, включая освещение, материалы и их динамику. Так как сцена полностью синтетически сгенерирована, ее можно легко редактировать, изменять, удалять и наполнять объектами.

«Возможность моделировать и воссоздавать динамику нашего визуального мира критически важна при создании интеллектуальных агентов, — отметили исследователи в своей работе. — Помимо чисто научных интересов, умение синтезировать визуальные миры имеет целый ряд применений, например, в компьютерном зрении, робототехнике и компьютерной графике».