Выбор ответа Middle ML в проде обновлено
PSI
Вопрос
Что такое PSI (Population Stability Index) и какие пороги обычно используют?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Сумма (доляновая - долястарая)·ln(доляновая / долястарая) по бинам; < 0.1 стабильно, 0.25 сильный сдвиг. PSI это симметризованная KL-дивергенция по бинам: KL(new‖old) + KL(old‖new).
Варианты ответа
- Доля объектов в проде, вышедших за минимум и максимум трейна по признаку; порог тревоги 5%
- Разница средних значений признака в проде и в трейне, выраженная в сигмах трейна; порог 3
- Сумма (доля_новая - доля_старая)·ln(доля_новая / доля_старая) по бинам; < 0.1 стабильно, > 0.25 сильный сдвигправильный ответ
- Ранговая корреляция значений признака в трейне и в проде; ниже 0.9 считается значимым сдвигом
Разбор
PSI это симметризованная KL-дивергенция по бинам: KL(new‖old) + KL(old‖new). Бины строят по квантилям старого распределения, пустые бины сглаживают. Пороги 0.1 и 0.25 это отраслевые эвристики из кредитного скоринга, а не закон.
- Выход за диапазон полезная проверка, но это не PSI.
- Сдвиг среднего не видит изменения формы.
- Корреляцию признака с самим собой так не считают.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.