Системы искусственного интеллекта (ИИ) покоряют всё новые и новые вершины: недавно, например, ИИ от Google обыграл чемпиона мира по го (ранее считалось, что на разработку компьютерного интеллекта, способного конкурировать с человеческим мышлением в игре го, уйдут десятилетия), он изучает предпочтения для релевантной выдачи поисковых запросов и даже пытается писать музыку и романы! Но у этой медали есть и другая сторона — безопасность.
Тема безопасности ИИ-разработок тревожит умы Илона Маска, Стивена Хокинга и других известных личностей, которые заявляют о потенциальной угрозе человечеству со стороны машин. Чтобы этого избежать, исследовательское подразделение Google DeepMind объединилось с учеными Оксфордского университета для разработки системы аварийного отключения ИИ, сообщает Business Insider со ссылкой на работу, опубликованную на сайте Института изучения машинного интеллекта (MIRI). «Если такой агент [искусственный интеллект] работает в реальном времени под надзором человека, сейчас и в дальнейшем у оператора может возникнуть необходимость нажать на большую красную кнопку, чтобы предотвратить исполнение агентом опасных для него или окружения действий», — говорится в работе ученых.
Основой для этих разработок стали исследования, проведенные в 2013 г. В них использовалась несложная система ИИ, обученная игре в тетрис. Через какое-то время алгоритм совершенно самостоятельно научился понимать, что когда уровень игры поднимается выше его возможностей, ему стоит только нажать на паузу и он уже не проиграет. Такой вид машиной хитрости является самым безобидным, но это полностью вписывается в прогнозы, выдвинутые специалистами Future of Humanity Institute.
Ник Бостром, основатель этого института, в свое время написал книгу под названием «Суперинтеллект», которая является своего рода предупреждением всему человечеству. Это предупреждение заключается в том, что когда ИИ получит возможность неконтролируемого и ничем не ограниченного самообучения, он быстро разовьется до уровня, который во много раз превзойдет интеллектуальный уровень человечества. Такое событие было впервые описано в
Cпециалисты считают, что самообучающаяся компьютерная система со временем вполне может обнаруживать определенный механизм обхода или даже игнорирования команды «стоп» оператора. Чтобы предотвратить это, утверждают ученые из Future of Humanity Institute, нужно создать фреймворк, который просто не даст возможности агенту ИИ блокировать команды оператора-человека. Такая «большая красная кнопка» должна быть гарантией возможности прерывания текущей работы компьютерной системы, а также обезопасить окружающих и предотвратить совершение действий, которые могут привести к необратимым последствиям.
Суть работы специалистов можно описать еще одной цитатой Ника Бострома: «Если интеллектуальный взрыв угрожает нам исчезновением, то мы должны понять, можем ли мы контролировать процесс детонации. Сегодня было бы более разумным ускорить работу по решению проблемы контроля, нежели приостанавливать проведение исследований в области ИИ. Но пока решением проблемы контроля занимаются человек шесть, в то время как над созданием ИИ трудятся десятки, если не сотни тысяч».
