Выбор ответа Senior Метрики качества обновлено
Выбор порога
Вопрос
Модель оттока выдаёт вероятности. Удержание клиента стоит 500 ₽, а потеря стоит 5 000 ₽. Как выбрать порог для звонков?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: По ожидаемой выгоде: звонить, если p·(эффект удержания)·5000 500, с учётом калибровки и ёмкости колл-центра. Порог это бизнес-решение.
Варианты ответа
- Оставить стандартные 0.5: для откалиброванной модели это всегда оптимальный порог при любых ценах ошибок
- Подобрать порог, максимизирующий accuracy на валидации, ведь он минимизирует общее число ошибок модели
- По ожидаемой выгоде: звонить, если p·(эффект удержания)·5000 > 500, с учётом калибровки и ёмкости колл-центраправильный ответ
- Взять порог, при котором precision равна recall: на нём модель одинаково хорошо ловит и не беспокоит зря
Разбор
Порог это бизнес-решение. Если вероятности откалиброваны и звонок удерживает долю u уходящих, звонить выгодно при p·u·5000 > 500. Если число звонков ограничено, берут топ-N по ожидаемой выгоде. Проверяют решение экспериментом.
- 0.5 разумен только при равной цене ошибок и откалиброванных вероятностях.
- Accuracy игнорирует цены ошибок.
- Равенство precision и recall не связано с деньгами.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.