Выбор ответа Middle ML в проде обновлено
Что мониторить у модели
Вопрос
Метки в задаче приходят через 60 дней (дефолт по кредиту). Как следить за моделью раньше?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Мониторить признаки и распределение скоров (PSI, доли пропусков, диапазоны) и прокси-метрики. Без меток видны сдвиги входа и выхода: распределение признаков, доля пропусков, новые категории, распределение скоров и доля одобрений.
Варианты ответа
- Никак: до прихода меток мониторинг качества невозможен, остаётся ждать 60 дней и пересчитать метрики
- Мониторить признаки и распределение скоров (PSI, доли пропусков, диапазоны) и прокси-метрикиправильный ответ
- Переобучать модель каждый день на свежих данных без проверки, тогда она не успеет устареть
- Смотреть на загрузку CPU и латентность сервиса: деградация модели первой видна по ним
Разбор
Без меток видны сдвиги входа и выхода: распределение признаков, доля пропусков, новые категории, распределение скоров и доля одобрений. Резкое изменение повод для разбора. Ранние прокси (первая просрочка через 30 дней) дают предварительную оценку качества. Технические метрики (латентность, ошибки) тоже нужны, но их мало.
- Мониторинг входа и выхода работает без меток.
- Переобучение вслепую может закрепить сломанные данные.
- CPU ничего не скажет о качестве.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.