Как улучшить качество RAG
Вопрос
RAG-бот по внутренней документации отвечает плохо. Как будете искать причину и улучшать?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Собрать оценочный набор вопросов с релевантными чанками и эталонами
Разделить метрики: recall@k и MRR поиска, верность и полнота ответа
Если плох поиск: очистка, чанкинг, заголовки в чанках, гибрид, переписывание запроса, реранкер
Если плоха генерация: промпт, объём и порядок контекста, цитаты, модель
Разбирать конкретные провалы из логов, а не только средние
Каждое изменение проверять на наборе, чтобы не сломать остальное
Что могут спросить следом
- Как собрать набор, если разметки нет?
- Как оценивать верность ответа без людей?
- Как понять, что реранкер окупается?
Разбор
Образцовый ответ: «Без измерений улучшать вслепую нельзя, поэтому сначала набор: 100-200 реальных вопросов из логов и от экспертов, для каждого правильные документы и короткий эталон. Дальше делю систему: меряю recall@10 и MRR поиска, и отдельно ответы: опирается ли ответ на контекст и полон ли он, частично через LLM-судью, откалиброванного на ручной разметке. Если поиск находит меньше 80%, смотрю провалы глазами: часто это мусор после парсинга PDF, чанки без заголовков, коды и аббревиатуры, на которых нужен BM25, или короткие вопросы из диалога, которые надо переписывать. Добавляю реранкер, если правильный чанк есть в топ-50, но не в топ-5. Если поиск хорош, а ответ плохой, работаю с промптом, сокращаю контекст, ставлю лучшее ближе к концу, требую цитаты и разрешаю отвечать "не знаю". Каждое изменение прогоняю по набору и смотрю регрессии по отдельным вопросам».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.