Ответ вслух Senior ML в проде обновлено

ML system design: кредитный скоринг

Вопрос

Спроектируйте модель кредитного скоринга для онлайн-заявок на потребительский кредит.

Попробуйте сами

Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.

Показать ответ и разбор

Коротко

Цель: предсказать вероятность дефолта, например просрочки 90+ дней в первые 12 месяцев. Значит, метки приходят через год, и для обучения беру заявки годичной давности и старше.

Что должно прозвучать в ответе

  • Цель и метки: дефолт (например 90+ дней просрочки за 12 месяцев), задержка меток

  • Reject inference: нет меток по отказанным заявкам

  • Данные: анкета, кредитная история из бюро, поведение в заявке; запрет дискриминирующих признаков

  • Модель: скоркарта на логрегрессии или бустинг с монотонными ограничениями, калибровка

  • Метрики: Gini/ROC-AUC, калибровка, ожидаемые потери и доходность при пороге

  • Объяснимость причин отказа, мониторинг PSI, валидация и одобрение рисками

Что могут спросить следом

  • Как выбрать порог одобрения?
  • Что делать, если через год экономика изменилась и дефолтов стало больше?

Разбор

Цель: предсказать вероятность дефолта, например просрочки 90+ дней в первые 12 месяцев. Значит, метки приходят через год, и для обучения беру заявки годичной давности и старше. Важная проблема: по отказанным заявкам меток нет, модель видит только одобренных; частично это решают reject inference и небольшая доля одобрений сверх политики для исследования. Данные: анкета, кредитная история из бюро, поведение при заполнении заявки, данные банка о клиенте; признаки, ведущие к дискриминации, исключаются. Модель: классическая скоркарта на логистической регрессии с WoE-кодированием как интерпретируемый бейзлайн и градиентный бустинг с монотонными ограничениями (больше просрочек не может уменьшать риск). Вероятности калибрую, потому что по ним считают ожидаемые потери и цену кредита. Метрики: Gini (2·AUC - 1), калибровка по бинам, а решение о пороге по доходности портфеля. Нужно объяснять причины отказа, поэтому SHAP или скоркарта. В проде мониторю PSI признаков и скоров, долю одобрений, ранние просрочки как прокси, а модель проходит независимую валидацию в риск-менеджменте.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.