Выбор ответа Middle RAG обновлено
Зачем MMR в выдаче
Вопрос
В топ-5 для RAG попали пять почти одинаковых чанков из разных версий одного регламента. Какой приём лучше всего решает проблему разнообразия?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: MMR: брать кандидата с балансом между релевантностью и непохожестью на уже выбранные. Maximal marginal relevance штрафует кандидата за сходство с уже выбранными, и в контекст попадают разные аспекты.
Варианты ответа
- Поднять температуру генерации, чтобы модель разнообразнее пересказывала одинаковые чанки
- Уменьшить размер чанков вдвое, чтобы в топ попадали разные фрагменты регламента
- Отсортировать чанки по алфавиту, чтобы дубли оказались рядом и модель их склеила
- MMR: брать кандидата с балансом между релевантностью и непохожестью на уже выбранныеправильный ответ
Разбор
Maximal marginal relevance штрафует кандидата за сходство с уже выбранными, и в контекст попадают разные аспекты. Дополнительно стоит чистить дубли и старые версии на индексации. Температура влияет на генерацию, а не на отбор контекста. Мелкие чанки не уберут дубли. Сортировка по алфавиту не связана ни с релевантностью, ни с разнообразием.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.