Выбор ответа Senior RAG обновлено
Где сломался RAG
Вопрос
Ответы RAG-бота плохие. На оценочном наборе recall@5 поиска 0.92, а ответы часто не используют найденное и выдумывают. Куда смотреть?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: На генерацию: промпт, порядок и объём контекста, инструкцию отвечать по источникам. Высокий recall@5 говорит, что нужный фрагмент обычно попадает в топ.
Варианты ответа
- На чанкинг: нужно уменьшить чанки вдвое, чтобы модели было проще найти ответ
- На генерацию: промпт, порядок и объём контекста, инструкцию отвечать по источникамправильный ответ
- На эмбеддинг-модель: её надо заменить, раз ответы не совпадают с документами
- На поиск: добавить BM25 и гибридную выдачу, чтобы поднять recall@5 выше 0.95
Разбор
Высокий recall@5 говорит, что нужный фрагмент обычно попадает в топ. Значит, теряется на генерации: модель не опирается на контекст, путается в длинном контексте или промпт не требует ссылок. Чанкинг, эмбеддинги и гибридный поиск улучшают поиск, который уже хорош. Поэтому RAG оценивают по частям: метрики поиска отдельно, верность ответа контексту отдельно.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.