Ученые Вашингтонского университета вместе с Институтом искусственного интеллекта Пола Аллена разработали систему на базе алгоритмов глубокого обучения, которая может действовать как собака.

По утверждению исследователей, идея научить машину действовать как визуально интеллектуальный агент, в данном случае собака, является очень сложной задачей.

В процессе обучения ученые использовали аляскинского маламута по кличке Келп. На собаке была закреплена камера GoPro и шесть инерционных измерительных датчиков (на лапах, хвосте и туловище). Датчики записывали разные виды активности, такие, как прогулка, слежка, захват, взаимодействие с другими собаками и слежение за объектами в более чем 50 локациях.

Процесс обучения нейросети проходил на базе графических процессоров NVIDIA GeForce GTX 1080, TITAN X и фреймворка глубокого обучения PyTorch, ускоренного с помощью библиотеки cuDNN.

Исследователи обучали нейросеть трем задачам: действовать как собака (цель — предсказать будущие движения собаки с учетом последовательности увиденных изображений); планировать как собака (цель — определить последовательность действий, которые перемещают собаку между локациями с учетом данной пары изображений); научиться у собаки: используется полученное представление для выполнения третьего задания (например, оценка поверхности для прогулки).

«С одной стороны, у собак намного проще пространство действий, чем у людей, поэтому задача кажется выполнимой. С другой стороны собаки явно демонстрируют визуальный интеллект, распознавая еду, препятствия, людей и животных, реагируя на них. Однако их намерения часто неизвестны», — отметили исследователи в своей работе.

Ученые отметили, что разработанная система смогла предсказывать не только будущие действия собаки, но и планировать движения, характерные для собаки: «Наши модели могут предсказывать, как будет двигаться собака в разных сценариях (действовать как собака) и как она решает перемещаться (планировать как собака)».

В будущем команда проекта планирует собрать больше данных от разных собак, а также будет искать способ фиксировать звук, запах и тактильные ощущения животных.