Выбор ответа Senior ML в проде спрашивают часто обновлено
Training-serving skew
Вопрос
Модель отлично работала на валидации, а с первого дня в проде качество заметно хуже. Причём данные в проде того же периода. Что проверить в первую очередь?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Training-serving skew: признаки в проде считаются иначе, чем при обучении (код, единицы, задержки). Частая причина: признаки для обучения собирали SQL-запросом по хранилищу, а в проде их считает сервис на другом языке.
Варианты ответа
- Training-serving skew: признаки в проде считаются иначе, чем при обучении (код, единицы, задержки)правильный ответ
- Concept drift: за первый день в проде связь признаков с целью успела заметно измениться
- Недостаточно эпох обучения: модель недообучена и на боевых данных проявляет это сильнее
- Слишком маленькую тестовую выборку: на ней качество было случайно и сильно завышено
Разбор
Частая причина: признаки для обучения собирали SQL-запросом по хранилищу, а в проде их считает сервис на другом языке. Расхождения в часовых поясах, округлениях, обработке пропусков или задержке данных. Проверка: залогировать признаки в проде и сравнить с расчётом офлайн для тех же объектов. Профилактика: общий код и feature store.
- Концепт за день так не меняется.
- Число эпох не объясняет разрыв валидации и прода.
- Маленький тест даёт шум, но не систематический провал.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.