Выбор ответа Senior ML в проде обновлено
Модель влияет на свои данные
Вопрос
Антифрод блокирует подозрительные транзакции, и по ним не приходит метка «мошенничество или нет». К чему это ведёт при переобучении?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Модель учится только на пропущенных транзакциях: смещение выборки, она «забывает» то, что блокирует. Модель меняет данные, на которых её потом учат (selective labels).
Варианты ответа
- Ни к чему: заблокированные транзакции не нужны для обучения, модель и так уверена в их классе
- Модель учится только на пропущенных транзакциях: смещение выборки, она «забывает» то, что блокируетправильный ответ
- Модель станет только точнее: в обучении останутся чистые данные без спорных и пограничных транзакций
- Это решается увеличением числа деревьев и глубины: модель доберёт паттерны из оставшихся данных
Разбор
Модель меняет данные, на которых её потом учат (selective labels). Мошенничество, которое она хорошо ловит, исчезает из размеченных данных, и новая модель перестаёт считать эти паттерны опасными. Решения: небольшая случайная доля решений без модели (holdout) для честной разметки, логирование вероятностей решений и IPS-взвешивание, ручная разметка заблокированного.
- Заблокированные важны как раз для обучения.
- Данные становятся смещёнными, а не чище.
- Гиперпараметры не исправляют смещение выборки.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.