ML system design: кредитный скоринг
Вопрос
Спроектируйте модель кредитного скоринга для онлайн-заявок на потребительский кредит.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Цель и метки: дефолт (например 90+ дней просрочки за 12 месяцев), задержка меток
Reject inference: нет меток по отказанным заявкам
Данные: анкета, кредитная история из бюро, поведение в заявке; запрет дискриминирующих признаков
Модель: скоркарта на логрегрессии или бустинг с монотонными ограничениями, калибровка
Метрики: Gini/ROC-AUC, калибровка, ожидаемые потери и доходность при пороге
Объяснимость причин отказа, мониторинг PSI, валидация и одобрение рисками
Что могут спросить следом
- Как выбрать порог одобрения?
- Что делать, если через год экономика изменилась и дефолтов стало больше?
Разбор
Цель: предсказать вероятность дефолта, например просрочки 90+ дней в первые 12 месяцев. Значит, метки приходят через год, и для обучения беру заявки годичной давности и старше. Важная проблема: по отказанным заявкам меток нет, модель видит только одобренных; частично это решают reject inference и небольшая доля одобрений сверх политики для исследования. Данные: анкета, кредитная история из бюро, поведение при заполнении заявки, данные банка о клиенте; признаки, ведущие к дискриминации, исключаются. Модель: классическая скоркарта на логистической регрессии с WoE-кодированием как интерпретируемый бейзлайн и градиентный бустинг с монотонными ограничениями (больше просрочек не может уменьшать риск). Вероятности калибрую, потому что по ним считают ожидаемые потери и цену кредита. Метрики: Gini (2·AUC - 1), калибровка по бинам, а решение о пороге по доходности портфеля. Нужно объяснять причины отказа, поэтому SHAP или скоркарта. В проде мониторю PSI признаков и скоров, долю одобрений, ранние просрочки как прокси, а модель проходит независимую валидацию в риск-менеджменте.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.