RAG простыми словами: когда его использовать, а когда нет

Что такое RAG

Генерация с извлечением (Retrieval-Augmented Generation, RAG) объединяет языковую модель с системой поиска. Вместо опоры только на обучающие данные модели RAG подтягивает релевантные документы в момент запроса и добавляет их в контекст промпта. Модель отвечает на основе найденного содержимого, а не только того, на чём её обучали.

Почему RAG стал популярен

Языковые модели галлюцинируют. Они уверенно утверждают ложное, особенно о недавних событиях и узкой предметной области, слабо представленной в обучающих данных. RAG снижает галлюцинации, привязывая ответы к исходным документам, которыми вы управляете. Он также делает ответы проверяемыми: утверждение можно отследить до конкретного фрагмента документа.

Как устроен конвейер RAG

1. 01
   Сбор

   Документы забирают оттуда, где они хранятся, — из вики, хранилища документов, системы заявок — и очищают от навигации, колонтитулов и дублей.

2. 02
   Нарезка

   Каждый документ делят на фрагменты: достаточно маленькие, чтобы находить точно, и достаточно большие, чтобы иметь смысл сами по себе.

3. 03
   Векторизация и индекс

   Каждый фрагмент превращают в вектор и сохраняют вместе с метаданными: источник, раздел, дата, права доступа.

4. 04
   Поиск

   Вопрос векторизуют так же и извлекают ближайшие фрагменты — часто вместе с поиском по ключевым словам и шагом переранжирования.

5. 05
   Генерация

   Модель отвечает по найденным фрагментам и ссылается на них, чтобы читатель мог открыть источник.

Когда RAG работает хорошо

Базы знаний и вопросы по документации. Ответы на вопросы по внутренним документам компании, статьям поддержки или продуктовой документации — идеальная область для RAG. Документы авторитетны, регулярно меняются и слишком объёмны, чтобы поместиться в один промпт.

Сценарии с требованиями к соответствию. Когда нужны ссылки на источник и проверяемость, RAG позволяет показать пользователю, какой именно источник использован для ответа.

Узкоспециализированный контент. Медицинские, юридические и технические материалы, слабо представленные при предобучении, выигрывают от RAG существенно.

Когда RAG не помогает

Простые фактические вопросы. Если базовая модель и так хорошо знает ответ, добавление поиска даёт задержку и сложность без пользы.

Творческие задачи. Написание текстов, обобщение и генерация не выигрывают от извлечения, если только вам специально не нужно привязать результат к исходным материалам.

Потребность в данных реального времени. RAG настолько свеж, насколько свеж ваш индекс. Для по-настоящему актуальных данных — текущие цены, остатки на складе — нужны вызовы инструментов или интеграции с API, а не RAG.

Типичные причины отказов RAG

Плохая стратегия нарезки документов — одна из самых частых причин слабой работы RAG. Если фрагменты рвут предложения или разделяют связанную информацию, качество поиска обрушивается. Вложитесь во время на стратегию нарезки, прежде чем оптимизировать эмбеддинги и алгоритмы поиска.

Нарезка, которая выдерживает нагрузку

• Режьте по структуре самого документа — заголовкам, разделам, пунктам списков, — а не по фиксированному числу символов.
• Сохраняйте контекст вместе с фрагментом. Храните название документа и заголовок раздела в метаданных, чтобы фрагмент про «срок» по-прежнему знал, к какому регламенту он относится.
• Делайте небольшое перекрытие там, где иначе предложение или таблица разрежутся пополам.
• Учитывайте права доступа при поиске. Фрагмент из закрытого документа не должен попадать к пользователю, который не может открыть сам документ.

Как оценить систему RAG

Соберите тестовый набор из реальных вопросов, к каждому — документ, который должен на него отвечать. Затем измеряйте две вещи отдельно: находит ли поиск нужный документ среди первых результатов и правилен ли ответ со ссылкой на него. Сбои поиска встречаются часто, а общий усреднённый балл скрывает, где их исправлять. Прогоняйте тот же набор после каждого изменения нарезки, эмбеддингов или промптов. Если вы планируете ассистента по базе знаний, мы проектируем системы RAG вокруг такого тестового набора с самого начала.