Модели ChatGPT и GPT-4 доминируют в информационном поле в эти дни. Но если вы оглянетесь вокруг, то найдете работоспособные модели с открытым исходным кодом, которые вы можете запустить самостоятельно, бесплатно, без ограничений, с отличной производительностью, сообщает портал Datanami.
Google признала это во внутреннем документе «We Have No Moat and neither does OpenAI» («У нас, как и у OpenAI, нет конкурентного преимущества»), информация о котором просочилась в начале мая, но, по словам экспертов, ИТ-общественность, похоже, не знает о множестве новых и захватывающих моделей ИИ, выпускаемых каждый день.
Запуск ChatGPT 30 ноября 2022 г., вероятно, войдет в историю как определяющий момент в демократизации ИИ. Чтобы найти сравнимый момент, придется вернуться к презентации iPhone Стивом Джобсом 29 июня 2007 г.
Шумиха вокруг ChatGPT подстегивает к действиям и сообщество машинного обучения и ИИ, поскольку технологи ищут способы дополнить любую когнитивную задачу возможностями ИИ. От управления данными и аналитики до ERP и разработки ПО — каждое приложение получает «второго пилота» на основе ИИ, чтобы усилить человеческие способности.
Луис Цезе, профессор информатики в Университете Вашингтона и генеральный директор OctoML, поражен прогрессом не меньше остальных. Эксперт по МО считает, что начало нынешнему увлечению ИИ положила OpenAI.
«То, что происходит сейчас, просто поражает воображение, — говорит он. — Я вижу, что релиз ChatGPT стал замечательным событием, не только как фантастическая демонстрация технологии, но и как привлечение внимания к ее возможностям... Теперь вам не нужно объяснять людям, на что способны все эти модели».
Большие языковые модели (LLM) были на слуху уже некоторое время, и OpenAI заслуживает похвалы за то, что открыла двери для новых сценариев использования ИИ. Но потенциальным пользователям следует быть осторожными и не думать, что OpenAI — это единственный игрок на поле ИИ. На самом деле, существует множество альтернатив GPT-4 и ChatGPT, которые, скорее всего, будут лучше подходить для конкретных применений ИИ, чем API к OpenAI, говорит Цезе.
«Мы видим, как многие клиенты и пользователи начинают использовать OpenAI, а затем понимают: „О, на самом деле мне нужно лишь вот это“, — поясняет он. — В OpenAI создали удивительные модели, и эти модели потребовали больших инвестиций, чтобы достичь своего уровня. Но для тех сценариев использования, которые часто волнуют людей, им не нужен такой уровень функциональности».
По словам Цезе, в некоторых случаях, таких как резюмирование текста, использование ChatGPT сродни поездке за кофе на Ferrari. «Есть много бесплатных автомобилей, которые можно использовать», — замечает он.
Среди «бесплатных автомобилей», на которых OctoML помогает пользователям прокатиться, RedPajama, Vicuna от LMSYS.org и Dolly, предлагаемая Databricks. Что касается работы с изображениями, то на ум Цезе приходят Stable Diffusion и Dall-E 2. В Интернет утекла модель LLaMa, и люди строят на ее основе свои проекты. На ней, в частности, основана стэнфордская Alpaca. Hugging Face предоставляет доступ к более чем 13 тыс. моделей. По словам профессора, существует уже много моделей, и каждый день их становится все больше.
«Темпы прогресса просто дикие, — говорит Цезе. — Я говорю о значительных, весьма значительных улучшениях, которые происходят. Я не преувеличиваю, что зачастую ежедневно появляется новая удивительная модель. Я не думаю, что люди осознают это».
Помимо бесплатности, Open Source-модели имеют и другие преимущества. Для начала, пользователи могут запускать их на своей собственной инфраструктуре, что дает им больше контроля. Если у них есть навыки работы с данными, они могут подстроить веса и настроить алгоритм и даже обучить модель работе на собственных данных. Не надо также забывать о риске использования модели, обученной на неизвестных данных, за что OpenAI неоднократно критиковали.
Google подкрепила точку зрения Цезе две недели назад, когда на сервере Discord произошла утечка внутреннего меморандума компании. Люди из SemiAnaysis подтвердили, что документ настоящий, а затем опубликовали его умеренно отредактированную версию.
Согласно SemiAnalysis, исследователь Google написал: «Хотя наши модели все еще имеют небольшое преимущество по качеству, разрыв сокращается поразительно быстро. Модели с открытым исходным кодом быстрее, они лучше настраиваются, более приватные и более эффективные в любой весовой категории. За 100 долл. и с 13 млрд. параметров делают вещи, которые мы с трудом делаем за 10 млн. долл. с 540 млрд. параметров. И они делают это за недели, а не за месяцы. Это влечет глубокие последствия для нас».
Нет никакого «секретного ингредиента» в том, что Google делает с Bard и другими моделями, пишет исследователь. Улучшение происходит благодаря сотрудничеству с сообществом, а не смешиванию цифровых зелий в лаборатории компании. И по мере того, как более мелкие языковые модели начинают делать то, что раньше можно было сделать только с помощью LLM, разрыв будет сокращаться до тех пор, пока у LLM не останется никаких преимуществ.
Мы стали свидетелями «огромного извержения» инноваций после того, как LLaMa утекла в Сеть в марте, говорится в исследовании. Сообществу потребовалось около месяца, чтобы начать строить на основе базовой модели варианты, которые подняли на новый уровень настройку инструкций, квантование, улучшение качества, оценку человеком, мультимодальность и RLHF (обучение с подкреплением на основе отзывов людей).
«Самое главное, — пишет исследователь, — они решили проблему масштабирования до такой степени, что этим может заниматься любой. Многие новые идеи исходят от обычных людей. Планка входа для обучения и экспериментов снизился с суммарной работы крупной исследовательской организации до одного человека, одного вечера и мощного ноутбука».
Другими словами, через ров навели постоянный мост — если вообще был ров.
«Люди не будут платить за модель с ограничениями, когда бесплатные альтернативы без ограничений сравнимы по качеству, — пишет исследователь Google. — Мы должны разобраться, в чем именно на самом деле состоит наша добавленная стоимость».
Это, конечно, отличная новость для всех — от любителей поиграться, исследователей, желающих поэкспериментировать, до крупных корпораций, которые хотят внедрить ИИ в свои бизнес-процессы.
Одно из самых впечатляющих технологических достижений в новейшей истории теперь свободно доступно любому, у кого есть ноутбук, подключение к Интернету и любознательность. Планка входа для использования технологии уже значительно снижена, и ее дальнейшее снижение почти гарантировано, что позволит ученым отыскивать еще большие инновации, а остальным — создавать новые приложения и изобретать бизнес с помощью того, что уже доступно.
«Люди уделяют слишком много внимания большим закрытым моделям, таким как OpenAI, Cohere и т. д., и я не думаю, что есть достаточное понимание того, что модели с открытым исходным кодом невероятно работоспособны, — говорит Цезе. — Мне кажется, что люди не уделяют этому достаточно внимания».
