Разработчики самоуправляемых автомобилей и регуляторы в основном обеспокоены угрозами безопасности, связанными с возможностью удаленного взлома через Интернет или локального подключения к бортовым системам. Но, как выяснилось, создать проблемы автономным машинам и поставить под угрозу жизни людей куда проще. Исследователи из университета Вашингтона обнаружили, что системы машинного зрения, применяемые в машинах с автопилотом для распознавания дорожных знаков, легко сбить с толку: достаточно определенным образом разместить на знаках небольшие наклейки.
Например, на одном из знаков Stop исследователи наклеили несколько черных и белых стикеров, на другом — разместили дополнительные надписи сверху и снизу от надписи Stop, а третий знак сделали более блеклым. Во всех случаях дорожные знаки оставались вполне узнаваемыми и читались хорошо, однако система автопилотирования в подавляющем большинстве попыток дала сбой: вместо знака Stop автопилот видел знак ограничения скорости. Вызывает опасения, что злоумышленники могут самостоятельно делать подобные наклейки, которые заставят компьютерную систему автомобиля подумать, что знак означает на самом деле что-то иное.
В реальном мире это может привести к серьезной аварии. Исследователи предлагают бороться с уязвимостью, добавляя в управляющие автономным автомобилем системы алгоритмы, дополнительно анализирующие контекст, в котором встретился знак. Они помогут убедиться, что знак не вводит систему в заблуждение — машина должна различать, что знаку Stop не место на скоростном шоссе, также ее должно насторожить ограничение скорости в 100 км/ч на городской улице.
Сообщается, что испытанию подверглась не система какого-то конкретного автопроизводителя, а стандартный для всех производителей алгоритм работы автопилота. Результаты исследования, по мнению авторов, говорят о том, насколько пока что уязвимой остается автоматика. Использованные на дорожных знаках искажения моделировали типичные поражающие факторы городской среды: акты уличного вандализма, порчу покрытия знака из-за погодных условий и так далее.
