RAG, retrieval-augmented generation, отлично выглядит в демо. В production такие системы ломаются предсказуемо: слабый retrieval, галлюцинированные цитаты и нестабильные ответы. Ниже чеклист, по которому мы проверяем систему перед запуском.
1. Качество retrieval
Стратегия chunking, выбор embedding-модели и reranking обычно влияют сильнее, чем сам LLM. Проверяйте retrieval отдельно, до того как добавите generation.
2. Цитирование и grounding
Каждое важное утверждение должно опираться на источник. Нужны строгие правила цитирования и fallback-поведение на случай низкой уверенности.
3. Пайплайн оценки качества
Соберите датасет из реальных запросов и ожидаемого поведения. Отслеживайте hallucination rate, recall retrieval и стабильность ответов во времени.
4. Наблюдаемость
Логируйте входы и выходы retrieval, расход токенов, задержки и пользовательский feedback. Улучшать production-систему без наблюдаемости невозможно.
5. Guardrails
Нужны валидация входа, фильтрация выхода и контроль прав доступа. Production RAG строится на границах, а не только на хорошем prompt engineering.
Мы запускали RAG-системы для support copilot, внутреннего поиска и процессов с тяжёлыми документами. Разница между демо и production как раз и проходит по этому чеклисту.