Выбор ответа Junior Метрики качества обновлено
Почему F1 гармоническое
Вопрос
Почему F1 это гармоническое среднее precision и recall, а не арифметическое?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Гармоническое среднее тяготеет к меньшему значению: высокий F1 не получить за счёт одной метрики. При precision 1.0 и recall 0.01 арифметическое среднее около 0.5, а F1 около 0.02.
Варианты ответа
- Гармоническое среднее тяготеет к меньшему значению: высокий F1 не получить за счёт одной метрикиправильный ответ
- Гармоническое среднее проще считать по матрице ошибок, оно сразу выражается через TP, FP и FN
- Арифметическое среднее precision и recall может превысить 1, а гармоническое ограничено единицей
- Так исторически сложилось в информационном поиске, на ранжировании моделей это не сказывается
Разбор
При precision 1.0 и recall 0.01 арифметическое среднее около 0.5, а F1 около 0.02. F1 наказывает перекос. Если важнее одна из метрик, используют Fβ: при β > 1 важнее recall.
- Сложность вычисления не причина.
- Арифметическое среднее чисел из [0, 1] тоже не больше 1.
- Разница принципиальная, пример выше.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.