Выбор ответа Junior Оценка качества спрашивают часто обновлено
Что такое recall@k
Вопрос
Для запроса есть 4 релевантных документа, в топ-5 выдачи попали 2 из них. Чему равен recall@5?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: 0.5. Recall@k = найденные релевантные в топ-k / все релевантные = 2 / 4 = 0.5.
Варианты ответа
- 0.4
- 2
- 0.5правильный ответ
- 0.8
Разбор
Recall@k = найденные релевантные в топ-k / все релевантные = 2 / 4 = 0.5. Значение 0.4 это precision@5: 2 релевантных среди 5 выданных. Число 2 это просто счётчик, не доля. 0.8 не соответствует ни одной из стандартных метрик для этих чисел.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Позиционное искажение судьи
Следующий вопрос
Код-ревью: скрипт сравнения двух промптов