Эксперт компании Endgame Хирам Андерсон на хакерской конференции DEFCON продемонстрировал работу платформы стимулированного машинного обучения OpenAI Gym. Обычно такие платформы создаются с целью распознавания фотоснимков, выявления отдельных фрагментов неструктурированной информации, обнаружения болезней или прогнозирования будущих событий, но продемонстрированный ученым экземпляр создан для других целей — он умеет писать трояны, невидимые для антивирусов, сообщает издание Security Affairs.

Нужно уточнить, что OpenAI Gym не создает вирусные программы с нуля, а вносит изменения в легитимный код (выглядит как обыкновенное ПО), при этом значительная часть вносимых платформой изменений антивирусными программами не фиксируются. Этого удалось добиться, отсылая образцы кода на несколько антивирусных движков: если они выявляли изменения в коде, то после этого нейронная сеть видоизменяла его вновь. За 15 часов тренировки система прошла более чем 100 тыс. проверок антивирусом. В итоге около 16% примеров вредоносного кода смогли пройти сквозь защиту.

По словам Андерсона, система машинного обучения по своей сути слепа, но в руках умелого хакера, который задался целью провести взлом инфраструктуры какой-то организации, становится грозным оружием. Примечательно, что подобные OpenAI Gym системы и сами могут обманывать антивирусные платформы, которые базируются на системах машинного обучения и искусственном интеллекте. Впрочем, здесь стоит пояснить, что некоторые антивирусные вендоры на волне интереса к ИИ и нейронным сетям злоупотребляют маркетинговой терминологией, утверждая, что их движки работают на ИИ, тогда как на самом деле это не так.

Endgame создала эффективный механизм создания вредоносной программы: наблюдая за ответами защитного ПО, вредоносный код «эволюционировал», становясь всё менее заметным.

Ирония заключается в том, что рано или поздно антивирусным вендорам придется столкнуться с настоящим ИИ и ещё не понятно, сумеют ли они оказать на него давление. Ранее аналитики Lloyd’s of London предположили, что масштабная глобальная кибератака способна привести к экономическим потерям на сумму в 53 млрд. долл., что сопоставимо с ущербом от таких природных катастроф, как ураган «Сэнди». Очевидно, что для успешного противостояния ИИ требуется сопоставимая сила, и, как показывают последние события с вымогательским ПО, антивирусным компаниям придется изобрести новые методы обороны против ИИ.

Стоит отметить, что важную роль в проекте сыграл фреймворк для работы с ИИ от некоммерческой организации Илона Маска OpenAI. Цель организации — «развивать искусственный интеллект так, чтобы от этого выиграло все человечество». Исходники OpenAI Gym опубликованы на GitHub, чтобы каждый мог убедиться в его работоспособности. Скорее всего, одними из самых заинтересованных станут производители защитного ПО и хакеры.