RAG: объяснить на собесе
Вопрос
Объясните, что такое RAG, из чего он состоит и почему его используют вместо дообучения.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Найти релевантные фрагменты и подать их в контекст
Индексация: очистка, чанкинг, эмбеддинги, метаданные
Онлайн: поиск, реранкинг, сборка контекста, генерация с цитатами
Плюсы против дообучения: свежие данные без переобучения, ссылки на источники, права доступа
Качество упирается в поиск, оценивать по частям
Что могут спросить следом
- Когда всё-таки нужно дообучение?
- Как бороться с тем, что модель игнорирует контекст?
Разбор
Образцовый ответ: «RAG это поиск плюс генерация. Документы заранее чистятся, режутся на чанки, для чанков считаются эмбеддинги и кладутся в индекс с метаданными: источник, дата, права. На вопрос пользователя мы ищем кандидатов, часто гибридно, векторами и BM25, реранкером выбираем лучшие несколько, собираем контекст и просим модель ответить только по нему со ссылками. По сравнению с дообучением данные обновляются простым переиндексированием, видно, откуда ответ, а права доступа применяются на поиске. Дообучение меняет стиль и навыки, но плохо и дорого добавляет факты. Главное в RAG поиск: если нужного фрагмента нет в контексте, ответ не спасти, поэтому меряю отдельно recall поиска и верность ответа контексту».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.