Векторные базы данных становятся все более незаменимыми для рабочих нагрузок искусственного интеллекта. К счастью, существуют векторные базы данных категории Open Source, которые полностью отвечают этим требованиям, пишет на портале ITPro Today Пит Лилли, вице-президент и генеральный менеджер Instaclustr by NetApp.

Для предприятий, которые сейчас активно планируют, строят и обучают свои собственные модели ИИ и разрабатывают приложения на базе ИИ, перспектива создания решений на базе ИИ с галлюцинациями и проблемами надежности вызывает — и по праву — серьезное беспокойство. Хорошая новость заключается в том, что векторные базы данных делают генеративный ИИ значительно более надежным и менее склонным к галлюцинациям. Еще более приятная новость заключается в том, что несколько существующих векторных баз данных с открытым исходным кодом являются хорошими вариантами для поддержки рабочих нагрузок ИИ.

Хорошие новости продолжают поступать и для предприятий, выбирающих путь Open Source: для использования векторных баз данных не обязательно вкладывать средства в реализацию новых и экзотических специализированных решений для уровня данных. Многие предприятия обнаружат, что их существующая инфраструктура уже может поддерживать рабочие нагрузки ИИ (при этом продолжая обеспечивать привычную доступность данных, масштабируемость и производительность, которым они уже знают, что могут доверять).

В частности, PostgreSQL (с расширением pgvector), OpenSearch и Apache Cassandra 5.0 (с новой встроенной векторной индексацией) — это три технологии с полностью открытым исходным кодом (не требуются проприетарные или открытые базовые решения), которые подходят для решения задач ИИ на предприятиях.

Векторные базы данных, LLM и RAG

Сначала краткая справка. Векторные базы данных используют векторные вложения (списки чисел), которые отражают сходство между частями данных и позволяют построить пространственную схему их взаимосвязи. Например, такие слова, как «растение» и «кустарник», будут иметь векторные координаты, более близкие друг к другу, чем слова «завод» и «автомобиль». Таким образом, векторные базы данных позволяют предприятиям создавать свои собственные большие языковые модели (LLM), исследовать особенно массивные наборы текстовых данных и понимать расстояние между вложениями для расширения возможностей поиска.

Векторные базы данных и вложения также способствуют реализации широко обсуждаемого процесса, известного как генерация с расширенным поиском (RAG), который повышает точность LLM за счет более тонкой настройки понимания новой информации. Например, этот процесс может позволить пользователям запрашивать документацию. Он создает вложения, источником которых служат корпоративные документы, переводит слова в векторные числа, ищет в документации слова, похожие на слова в запросе, и извлекает наиболее релевантную информацию. Затем RAG предоставляет эти данные LLM в формате, который она может переварить, и LLM генерирует точный текстовый ответ для пользователя.

Теперь давайте рассмотрим три бесплатные базы данных с открытым исходным кодом, которые корпоративные команды могут использовать в качестве интеллектуальной инфраструктуры данных для хранения этих векторных вложений.

pgvector

PostgreSQL — «самая передовая в мире реляционная база данных с открытым исходным кодом», а также одна из самых широко инсталлированных, что означает, что большинство предприятий уже хорошо знакомы с этой технологией. Расширение pgvector превращает Postgres в высокопроизводительное векторное хранилище, предлагая организациям, знакомым с PostgreSQL, путь наименьшего сопротивления для быстрого создания интеллектуальной инфраструктуры данных.

С точки зрения RAG и обучения LLM, pgvector обеспечивает поиск вложений на основе расстояний, точный поиск ближайших соседей и приблизительный поиск ближайших соседей. Pgvector эффективно фиксирует семантическое сходство, используя расстояние L2, внутреннее произведение и (рекомендованное OpenAI) косинусное расстояние. Команды также могут использовать модель вложений OpenAI — доступную в виде API — для расчета вложений для документации и пользовательских запросов.

Как корпоративный Open Source-вариант, pgvector — это уже проверенное решение для создания эффективных, точных и производительных LLM, помогающее командам уверенно запускать дифференцированные приложения с поддержкой ИИ в производство.

OpenSearch

Поскольку OpenSearch — это зрелая поисково-аналитическая система, уже завоевавшая популярность среди широкого круга предприятий, новые и нынешние пользователи будут рады узнать, что решение с открытым исходным кодом готово ускорить разработку приложений ИИ в качестве единой поисковой, аналитической и векторной базы данных. OpenSearch уже давно предлагает низкую задержку, высокую доступность и масштаб, позволяющий обрабатывать десятки миллиардов векторов, поддерживая стабильность приложений. Она обеспечивает отличную функциональность поиска ближайших соседей для поддержки векторного, лексического и гибридного поиска и аналитики. Эти возможности значительно упрощают реализацию ИИ-решений, от агентов генеративного ИИ до рекомендательных систем с достоверными результатами и минимальными галлюцинациями.

Cassandra 5.0

В новейшей версии популярной базы данных Apache Cassandra с открытым исходным кодом появилось несколько новых функций, предназначенных для рабочих нагрузок ИИ. Теперь в ней есть возможности векторного поиска и нативного векторного индексирования. Кроме того, появился новый тип данных vector, специально предназначенный для сохранения и извлечения векторов вложений, а также новые функции CQL, позволяющие легко выполнять эти задачи. Благодаря добавлению этих новшеств Cassandra 5.0 стала отличной базой данных для реализации интеллектуальных стратегий данных и для предприятий, быстро создающих ИИ-приложения для множества сценариев использования.

Одним словом, заслуженная репутация Cassandra, обеспечивающей высокую доступность и масштабируемость, теперь дополнена специфической для ИИ функциональностью, что делает ее одной из самых привлекательных открытых баз данных.

Open Source открывает двери для успешной реализации рабочих нагрузок ИИ

Очевидно, что, учитывая невероятно быстрые темпы развития технологий ИИ, предприятия не могут позволить себе медлить с созданием дифференцированных ИИ-приложений. Но в этом стремлении применение неправильных проприетарных решений для уровня данных — и столкновение с проблемами привязки к поставщику или просто несоответствия функций — может легко стать (а для некоторых уже стало) фатальной неудачей. Если же вместо этого воспользоваться одной из способных на очень многое векторных баз данных с открытым исходным кодом, предприятия могут оказаться в более выгодном положении.