Карточка Middle Несбалансированные классы обновлено

Калибровочная кривая

Вопрос

Как построить калибровочную кривую?

Попробуйте сами

Ответьте про себя или вслух, потом откройте ответ и сверьтесь.

Показать ответ и разбор

Коротко

Разбить предсказанные вероятности на бины, в каждом сравнить среднюю предсказанную вероятность с фактической долей положительных. Идеальная модель лежит на диагонали.

Ответ

Разбить предсказанные вероятности на бины, в каждом сравнить среднюю предсказанную вероятность с фактической долей положительных. Идеальная модель лежит на диагонали. Сводная метрика ECE: взвешенное среднее отклонение по бинам.

Разбор

Разбить предсказанные вероятности на бины, в каждом сравнить среднюю предсказанную вероятность с фактической долей положительных. Идеальная модель лежит на диагонали. Сводная метрика ECE: взвешенное среднее отклонение по бинам.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.

Термины по теме