Основатель RAAIS и Air Street Capital Натан Бенаих в кооперации с приглашенным профессором института инноваций и общественных целей UCL и ангелом-инвестором Яном Хогартом выпустили один из наиболее масштабных отчетов о состоянии искусственного интеллекта «State of AI Report 2020», который в развернутой форме дает представление о всех возможные сферах развития ИИ и машинного обучения, сообщает портал ZDNet.

Структура и тематика отчета остались в основном теми же, что и в «State of AI Report 2019» (136 слайдов по всей тематике ИИ), но его объем вырос почти на 30% (177 слайдов). Новый отчет охватывает такие темы, как технологические прорывы, спрос, предложение, перспективные проекты, распределение перспективных специалистов, крупные платформы, финансирование и области применения ИИ-инноваций сегодня и в будущем, специальные разделы, посвященные месту ИИ в общественной жизни и прогнозы по поводу его развития.

Демократизация и индустриализация: открытый код и MLOPS

По словам исследователей, причиной для создания отчета послужило желание привнести что-то новое в экосистему ИИ исходя из своего богатого опыта работы в отрасли и знаний, которые они получили на занимаемых в настоящее время должностях. По случайному совпадению обстоятельств, приблизительно в одно и то же время был выпущен отчет Gartner «Hype cycle for AI-2020», в котором аналитическая компания выделяет две основные «мегатенденции» в сфере ИИ в 2020 г.: демократизацию и индустриализацию. В то же время Бенаих и Хогарт в своем отчете затронули вопросы огромной стоимости обучения моделей ИИ и открытости исследований. Их подход в какой-то степени противоречит позиции Gartner или, по крайней мере, подразумевает иную трактовку демократизации.

По словам Бенаиха, существуют различные подходы к демократизации. Один из них — степень открытости и воспроизводимости исследований ИИ. Как показывают результаты дуэта исследователей, только 15% авторов исследовательских работ по ИИ публикуют свой код, и ситуация не сильно изменилась с 2016 г. Хогарт добавил, что традиционно ИИ как академическая область имел открытый дух, но отраслевое внедрение изменило этот подход. Компании нанимают все больше и больше исследователей, и, поскольку они хотят сохранить свою интеллектуальную собственность, это выливается в столкновение культур. За отказ от публикации кода под прицел критики исследователей попали такие известные организации, как OpenAI и DeepMind.

Поскольку индустриализация идет полным ходом, Бенаих и Хогарт заострили внимание на MLOps (DevOps for ML). Это эквивалент DevOps для моделей машинного обучения и означает их перенос от разработки к производству, управление жизненным циклом с точки зрения улучшений, исправлений, повторных развертываний и т. д. Эксперты отметили, что с MLOps связаны некоторые из наиболее популярных и быстрорастущих проектов Github в 2020 г. Хогарт также добавил, что сегодня основателям стартапов легче начать работу с ИИ, чем несколько лет назад, что связано с доступностью инструментов и зрелостью инфраструктуры.

Но это не распространяется на обучение таких моделей, как GPT3. «Если бы вы сегодня захотели создать исследовательскую компанию в сфере искусственного интеллекта общего уровня, способного мыслить и действовать, как человек (AGI, Artificial General Intelligence), планка, вероятно, будет выше с точки зрения требований к вычислениям, в особенности если вы верите в гипотезу масштабирования, идею использования подходов, подобных GPT3, и продолжение их масштабирования. Без больших объемов капитала это будет сделать все труднее, а значит этот алгоритм станет менее доступным для новых участников», — говорит Хогарт.

По его словам, организации с очень большим капиталом могут проводить множество экспериментов и повторять их, не слишком беспокоясь о стоимости обучения моделей, чего небольшие фирмы не могут себе позволить. «Таким образом, если у вас больше капитала — у вас больше возможностей для экспериментов с большими моделями. Очевидно, это подталкивает вас при решения проблемы к этим грубоватым подходам с вливанием дополнительного капитала, масштаба и данных. Но я думаю, что если вы согласитесь с гипотезой масштабирования, то вы поймете, что это благодатная область прогресса, которую нельзя сбрасывать со счетов только потому, что в ее основе нет глубокого интеллектуального понимания», — добавил он.

Как поддерживать конкурентную борьбу в области ИИ

Это еще один ключевой вывод отчета: огромные модели, крупные компании и громадные затраты на обучение сегодня доминируют в самой горячей области ИИ —обработке естественного языка (NLP). Исследователи оценили стоимость обучения моделей NLP примерно в 1 долл. за 1000 параметров. Таким образом, обучение модели GPT3 некоммерческой организации OpenAI, которая была провозглашена новейшим и величайшим достижением в области ИИ, могло стоить ей десятки миллионов долларов. Эксперты предполагают, что вероятный бюджет составил 10 млн. долл. Это ясно показывает, что создать что-то вроде GPT3 по плечу далеко не каждой компании.

Вопрос в том, есть ли другой способ? Бенаих и Хогарт полагают, что да и предлагают альтернативу. PolyAI — это компания из Лондона, занимающаяся голосовыми помощниками. Она создала и выложила в открытый доступ разговорную модель ИИ (предварительно технически обученный на трансформерах контекстный ранжировщик), которая превосходит модель Google BERT в разговорных приложениях.

Но это не единственное ее достоинство. Для работы PolyAI необходимо обучить лишь часть параметров, что позволяет существенно сэкономить на затратах. Возникает очевидный вопрос: как PolyAI это удалось? Ведь она может стать источником вдохновения и для других компаний. Бенаих отметил, что задача понимания намерений и действий владельца смартфона решается гораздо лучше, если рассматривать ее как так называемую контекстуальную проблему повторного ранжирования: «То есть, мы можем разработать более подходящую модель на базе меню, в котором абоненту предлагается на выбор несколько вариантов действий. Полученные таким образом данные позволяют лучше узнать намерения клиента, чем просто попытка применить общецелевую модель, в данном случае BERT». Он говорит, что BERT может хорошо работать в отдельных разговорных приложениях, но просто не имеет необходимых «защитных барьеров», которые могли бы сделать ее надежной в реальной области применения: «Чтобы заставить модель работать в производстве, нужна инженерная разработка, а не только исследования».

Это еще раз указывает на важность применения в ИИ знаний предметной области, на что обращают внимание критики подхода грубой силы, также известного как «гипотеза масштабирования». В то же время сторонники последней полагают, что интеллект — это феномен, возникающий на масштабе. Следовательно, если в какой-то момент такие модели, как GPT3, станут достаточно большими, сложными, святым Граалем не только ИИ, но и науки и техники в целом, то тогда можно будет говорить о создании AGI.

На пути к AGI?

Чтобы добиться прогресса в ИИ, тема AGI должна быть связана не только с наукой и разработкой, но и, как минимум, с философией. Бенаих и Хогарт подходят к этому вопросу комплексно, чему способствует критика таких моделей, как GPT3. Их наиболее известный критик — Гэри Маркус. Он критиковал модели, предшествующие GPT3, рассматривая подход «грубой силы» как недостаточно масштабируемый. Бенаих не оставил его критику без внимания, пояснив, что тот имеет в виду. GPT3 — это мощная языковая модель, которая может брать подсказку и выводить последовательность связного и понятного текста, который во многих случаях имеет к ней прямое отношение. Более того, GPT3 может применяться даже в других областях, например, для написания программного кода. Однако есть множество примеров, когда GPT3 либо демонстрирует предвзятость, либо просто дает неправильные результаты.

Интересным моментом является то, как измеряется производительность моделей типа GPT3. Бенаих и Хогарт отмечают, что существующие тесты для NLP, к примеру GLUE (General Language Understanding Evaluation) и SuperGLUE, дополняются языковыми моделями. Эти тесты предназначены для сравнения производительности языковых ИИ-моделей с человеческими при выполнении ряда задач, охватывающих логику, понимание здравого смысла и лексическую семантику. В прошлом году ИИ на один балл превзошел в GLUE базовый уровень человека в оценке понимания естественного языка. В этом году он уверенно его обошел, но пока еще не может обойти в SuperGLUE. По сложности последний превосходит бенчмарк GLUE. SuperGLUE включает восемь задач для проверки способности ИИ-систем понимать суть речи, распознавать причинно-следственные связи и давать ответы «да/нет» на вопросы по тестовым фрагментам. Результаты тестов можно интерпретировать по-разному. Можно было бы сказать, что языковые ИИ-модели сейчас так же хороши, как и люди. Однако те недостатки, на которые указывает Маркус, показывают, что это не так и нужен новый бенчмарк. Исследователи из Беркли опубликовали новый тест, который пытается уловить ряд нюансов при выполнении различных задач.

Бенаих рассказал об интересном расширении возможностей GPT3, которое связано с дискуссией вокруг PolyAI. Это аспект введения в модель определенных триггеров, которые позволяют ее ограничивать или, по крайней мере, настраивать, какие выходные результаты она может давать из заданных входных данных. Он добавил, что есть разные способы сделать это и базы и графы знаний — один из них. Он также упомянул некую изученную переменную намерения, которую можно использовать для введения такого рода контроля над генератором последовательности общего назначения. Бенаих считает, что критический взгляд определенно нужен, и указывает на то, какие модели, в том числе GPT3, можно использовать, чтобы они приносили пользу в производственной среде.

По мнению Хогарта, критический взгляд приносит пользу особенно тогда, когда некоторые работы провоцируют шумиху, и в этом смысле OpenAI предлагает один из наиболее продуманных подходов к политике в области ИИ. Хогарт подчеркнул принципиальные различия в философии сторонников и критиков гипотезы масштабирования. Однако он добавил, что если критики ошибаются, тогда у нас может быть очень умный, но не очень хорошо работающий AGI, о чем свидетельствуют первые случаи его предвзятости при масштабировании моделей. «Я думаю, что если OpenAI и подобные ей организации собираются придерживаться при обучении ИИ этического подхода, они просто обязаны рассказывать нам, как они собираются делать это безопасно, поскольку их исследовательские программы не раскрывают этих деталей. Подход AGI заработает тогда, когда для решения проблемы получится совместить безопасность ИИ с привлечением дополнительных данных и вычислений», — сказал он.

Причинно-следственные связи — новый рубеж для ИИ

Как также следует из отчета, одни исследователи пришли к заключению, что прогресс в зрелых областях машинного обучения остановился, тогда как другие призывают к развитию в направлении причинно-следственных связей и заявляют, что добавление этого элемента в подходы к машинному обучению поможет преодолеть препятствия.

Причинно-следственные связи, сказал Хогарт, это двигатель прогресса человечества. Поэтому работа по привнесению причинно-следственных связей в машинное обучение, которую провели такие первооткрыватели, как Джуди Перл, обладает большим потенциалом. Возможно даже, это самый крупный прорыв в общей тенденции развития все более крупных корреляционных моделей.

Хогарт считает, что если удастся взломать причинно-следственную связь, то получится «вырастить довольно мощные леса знаний на основе уже имеющихся, и тогда машины будут действительно вносить вклад в наши собственные базы знаний и научные процессы. Это очень увлекательно. Есть причина, по которой некоторые из самых умных людей в области машинного обучения проводят выходные и вечера, работая над этим. Но я думаю, что пока что механизм работы причинно-следственных связей находится в зачаточном состоянии и поэтому не входит в сферу внимания коммерческого сообщества. В наш отчет за этот год мы смогли включить только пару примеров его коммерческого применения: один — лондонской компанией, которая занимается машинным обучением, и другой — Babylon Health».