По мере того как организации знакомятся с требованиями к созданию и работе приложений генеративного искусственного интеллекта (GenAI), они обнаруживают, что есть один важный компонент, который помогает всему этому работать: векторная база данных. Это фактор номер один, способствующий внедрению этого особого типа баз данных, сообщает портал Datanami.
Несмотря на то что ажиотаж вокруг GenAI, похоже, немного спадает, интерес к зарождающейся технологии по-прежнему велик. Например, недавний опрос Boston Consulting Group показал, что ИТ-лидеры прогнозируют 30%-ный рост расходов на GenAI и другие формы машинного обучения в следующем году, а мартовский опрос KPMG — что 97% руководителей компаний планируют инвестировать в GenAI в течение следующих 12 месяцев.
Динамика развития GenAI способствует росту интереса к векторным базам данных. Согласно данным трекеров баз данных DB-Engines, они были самой популярной категорией баз данных в течение последних 13 месяцев.
Тенденция роста векторных баз данных не собирается ослабевать. Год назад Gartner предсказала, что к 2026 г. 30% компаний будут использовать векторные базы данных для фундаментальных моделей, тогда как в 2022 г. этот показатель составлял всего 2%.
Индустрия баз данных реагирует на этот рост спроса, наращивая векторные возможности как для автономных векторных баз данных, так и для мультимодельных баз данных, поддерживающих векторы среди других типов данных.
Хотя между этими двумя типами векторных баз данных существуют компромиссы, мультимодельный путь, похоже, развивается довольно быстро. Новое исследование Forrester «Vector Databases Explode On The Scene» показало, что к 2026 г. 75% традиционных баз данных, включая реляционные и NoSQL, включат в свой функционал векторные возможности.
«Некоторые организации предпочитают мультимодельные базы данных, потому что они обеспечивают более широкую интеграцию векторных и невекторных данных, позволяют осуществлять гибридный поиск и использовать существующую инфраструктуру баз данных, — пишет в отчете ведущий аналитик Forrester Ноэль Юханна. — Кроме того, некоторые мультимодельные базы данных теперь предоставляют векторные возможности без дополнительной платы в рамках существующих лицензий, что еще больше повышает их привлекательность для предприятий».
Решение об использовании мультимодельной или нативной векторной базы данных зависит от нескольких факторов. Если приложению требуется «исключительная производительность и ... доступ к векторным данным с малой задержкой», то, по мнению Forrester, лучше использовать векторную базу данных.
Различия в сценариях использования также могут заставить заказчика сделать выбор в пользу той или иной базы данных. Традиционные базы данных лучше всего подходят для работы с приложениями, отчетностью и бизнес-аналитикой, в то время как нативные векторные базы данных предназначены для GenAI, поиска и приложений с расширенным поиском (RAG).
Клиентам с большим количеством сложных данных высокой размерности также лучше использовать нативные векторные базы данных. Кроме того, Forrester отмечает, что такие базы лучше работают с неструктурированными данными (текст, документы, изображения, видео, аудио), индексируют сложные данные и интегрируются с инструментами машинного обучения.
Однако традиционные базы данных имеют ряд собственных преимуществ. Они предназначены для поддержки транзакций, что, по мнению Forrester, не характерно для нативных векторных баз данных. Кроме того, они обычно лучше поддерживают инструментарий сторонних разработчиков. Если вы хотите получить доступ к данным с помощью SQL, вам лучше всего подойдет традиционная база данных; доступ к нативным векторным базам данных осуществляется в основном через API. Мультимодельные базы данных находятся где-то посередине, когда речь идет о преимуществах и недостатках.
«В отличие от традиционных баз данных, которые оптимизированы для точного соответствия структурированным данным, векторные базы данных отлично справляются с расширенным поиском сходства в сложных, высокоразмерных данных, — пишет Юханна. — Например, векторная база данных может быстро найти все изображения в базе данных, которые визуально похожи на данное изображение, сравнив их соответствующие векторы в течение нескольких секунд. Уникальное преимущество векторных баз данных заключается в их способности поддерживать специализированные векторные индексы, облегчающие быструю обработку запросов и обеспечивающие высокую производительность, необходимую для запросов к сложным данным».
По мнению Forrester, особенно важно то, что нативные векторные базы данных позволяют клиентам хранить, индексировать и искать по векторным вложениям. Они используют передовые методы индексирования и хеширования, «включая K-мерные деревья, графы Hierarchical Navigable Small World (HNSW), Locality-Sensitive Hashing (LSH), Faiss и индексы на основе графов».
Среди наиболее распространенных сценариев использования векторных баз данных — RAG, поиск по сходству изображений, оптимизация рекомендательных механизмов, персонализация клиентского опыта, обнаружение аномалий, поисковые мезанизмы и выявление мошенничества. Forrester рекомендует использовать нативную векторную или мультимодельную базу данных в зависимости от конкретных требований каждой организации.
«Выбирайте нативную векторную базу данных, если вам требуется доступ с низкой задержкой исключительно к большим объемам (десятки терабайт) векторных данных, — советуют аналитики. — Однако если ваши приложения требуют интеграции векторных и невекторных данных, выбирайте мультимодельную базу данных с возможностью работы с векторными данными».
Поскольку темы масштабируемости и производительности снова и снова поднимаются при обсуждении нативных векторных и мультимодельных баз данных, возникают вопросы о том, насколько эффективна любая из векторных баз данных на высоком уровне.
По мнению Forrester, «большинство векторных баз данных еще не продемонстрировали высокую масштабируемость и производительность, особенно при работе с миллиардами векторов или при работе с сотнями терабайт данных. Для достижения оптимальной производительности убедитесь, что в векторных базах данных используются оптимизированные индексы и алгоритмы поиска с точной настройкой, а также что они используют графические процессоры и масштабируемые архитектуры, где это возможно».
