Ожидается, что наступающий год станет годом прорыва для генеративного ИИ (GenAI), особенно в плане готовности организаций к внедрению ИИ. Несмотря на то, что гонка за бизнес-ценность больших языковых моделей (LLM) достигла своего апогея, есть и некоторые опасения, сообщает портал Datanami.

Пара новых исследований, проведенных в Стэнфорде и Калифорнийском университете в Беркли, показала, что LLM могут давать ложные результаты, основанные на сфабрикованных цитатах — их еще называют «галлюцинациями». Компания McKinsey также выразила обеспокоенность по поводу точности LLM. Эти исследования подчеркивают необходимость проведения дополнительных исследований точности технологий GenAI.

До сих пор мы не смогли до конца понять, насколько точно LLM могут отвечать на сложные бизнес-запросы и какое влияние могут оказать графы знаний (knowledge graphs) на повышение точности и объяснимости LLM. Новый отчет data.world может помочь нам найти ответы на эти вопросы.

Data.world, платформа для создания каталогов данных с поддержкой ИИ, выпустила отчет об эталонных показателях точности ответов LLM на реальные бизнес-запросы к базам данных SQL. В нем показано, что использование графов знаний с LLM позволяет повысить точность ответов в три раза.

«Главный вывод нашего исследования заключается в том, что инвестиции в графы знаний обеспечивают гораздо более высокую точность ответов LLM на запросы к базам данных SQL. И в конечном итоге, чтобы преуспеть в мире ИИ, предприятия должны с уважением относиться к бизнес-контексту и семантике», — говорит доктор Хуан Секеда, руководитель ИИ-лаборатории data.world.

Результаты отчета были подтверждены членами команды разработчиков dbt Labs с помощью серии тестов. Результаты тестов показали 83%-ную точность ответов с помощью ИИ на вопросы на естественном языке, а на некоторые вопросы правильные ответы были получены в 100% попыток.

Тестирование, проведенное dbt Labs, показало, что слой структурированных семантических знаний поверх данных приводит к гораздо более высокой способности правильно отвечать на специальные вопросы об организационных данных с помощью LLM.

По словам генерального директора data.world Бретта Хёрта, нет никаких сомнений в том, что LLM повышают производительность, но вопрос заключается в том, как использовать LLM таким образом, чтобы результаты были объяснимыми, точными и управляемыми. Он считает, что отчет data.world демонстрирует возможности эффективного сочетания LLM с графами знаний.

Организации неохотно используют LLM из-за опасений неточностей в бизнес-контексте, однако отчет data.world показывает, что теперь они могут быть более оптимистичными. Они могут включить графы знаний в свою техническую стратегию, чтобы повысить уровень точности LLM.

Независимо от того, хотят ли организации использовать ИИ для устранения операционной неэффективности, увеличения доходов или сбора отзывов клиентов, точность ИИ имеет решающее значение. Отчет data.world предлагает жизненно важное понимание направления, которое может привести к более точным результатам ИИ.