Выбор ответа Middle Оценка качества обновлено
Верность ответа контексту
Вопрос
Что измеряет метрика faithfulness (groundedness) в RAG?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Подкреплено ли каждое утверждение ответа найденным контекстом. Faithfulness проверяет, не добавила ли модель утверждений без опоры на контекст: обычно ответ разбивается на утверждения, и для каждого проверяется поддержка.
Варианты ответа
- Насколько ответ совпадает по словам с эталонным ответом
- Нашёл ли поиск все релевантные документы для запроса
- Подкреплено ли каждое утверждение ответа найденным контекстомправильный ответ
- Насколько пользователь доволен ответом по лайкам и оценкам
Разбор
Faithfulness проверяет, не добавила ли модель утверждений без опоры на контекст: обычно ответ разбивается на утверждения, и для каждого проверяется поддержка. Это не про совпадение с эталоном: верный ответ может быть сформулирован иначе. Качество поиска меряют отдельно (recall@k). Удовлетворённость пользователя это онлайн-сигнал.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.