Сопоставление Middle Оценка качества обновлено
Метрики и что они меряют
Вопрос
Сопоставьте метрику и то, что она измеряет.
Попробуйте сами
Нажмите слева, потом подходящее справа.
Показать ответ и разбор
Коротко
Первые три метрики про поиск, faithfulness про генерацию в RAG, согласие с людьми про качество самого измерительного инструмента.
Правильные пары
Recall@kДоля релевантных документов, попавших в топ-k
MRRНасколько высоко в среднем первый релевантный документ
nDCG@kКачество порядка с учётом градаций релевантности
FaithfulnessПодкреплены ли утверждения ответа контекстом
Согласие судьи с людьмиМожно ли доверять автоматической оценке
Разбор
Первые три метрики про поиск, faithfulness про генерацию в RAG, согласие с людьми про качество самого измерительного инструмента.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.