Обеспечивать все более высокое качество фотографий с помощью новых аппаратных модулей камер для смартфонов становится все сложнее, поэтому разработчики прибегают к «вычислительной» фотографии: различным алгоритмам и ИИ-технологиям, призванным улучшать снимки (например, технология HDR+, появившаяся впервые в Nexus 6). Последнее исследование Google, проведённое вместе с учёными из Массачусетского технологического института (MIT), переводит эту идею на новый уровень — создан алгоритм, ретуширующий фотографии в режиме реального времени.

Как сообщается, новая технология не просто позволит качественно обрабатывать фотографии, но и получать результат, сопоставимый с тем, как если бы этим занимался профессиональный фотограф. В ходе тестирования нейронной сети было выбрано пять фотографий, созданных Adobe и MIT. Каждое изображение было отретушировано пятью различными фотографами. Затем полученные снимки использовались для того, чтобы определить, как именно можно улучшить каждое изображение за счёт регулировки яркости, насыщенности и прочих параметров.

«Изображения, которые снимают современные камеры, зачастую воспринимаются как сырой материал для фотографии. Перед тем, как загрузить фотографию в соцсети, даже те, кто снимают на телефон, тратят минуту или две, выравнивая цвет и контраст с помощью популярных приложений», — говорится в блоге MIT. В основе нового алгоритма лежит сверточная нейросеть. Вычислительная мощность современных мобильных устройств недостаточно высока для полноценной работы системы, но исследователи сумели обойти это ограничение — система выполняет большую часть вычислений на уменьшенной копии исходного изображения, а затем переносит результаты на фотографию в высоком разрешении.

Исследователи протестировали программу на обычном смартфоне (модель не указывается), и алгоритм смог в реальном времени выдавать на экран обработанное изображение с разрешением 1920×1080 и частотой обновления 40–50 Гц. Размер всего ПО не превышает размера одной цифровой фотографии и может использоваться для обработки снимков в различных стилях. Другими словами, нейронная сеть может быть натренирована на новом наборе изображений, чтобы имитировать стиль определённых фотографов.

Примерно так работают художественные фильтры в приложениях Prisma и Facebook, имитирующих стилистику тех или иных живописцев. Конечно, современные смартфоны и камеры уже обрабатывают захваченные данные в реальном времени, но новые методы позволяют дополнительно развить фото-возможности смартфонов.