Выбор ответа Middle ML в проде обновлено
Когда переобучать модель
Вопрос
Как выбрать стратегию переобучения модели в проде?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: По расписанию под скорость дрейфа или по триггеру деградации, с проверкой новой модели перед заменой. Частоту определяют эмпирически: как быстро падает качество модели на исторических данных при старении.
Варианты ответа
- Переобучать при смене владельца модели или команды, чтобы новые люди проверили пайплайн
- Не переобучать: хорошо провалидированная модель работает стабильно, а переобучение только вносит риск
- Переобучать после каждого запроса онлайн-обучением: так модель постоянно актуальна без проверок
- По расписанию под скорость дрейфа или по триггеру деградации, с проверкой новой модели перед заменойправильный ответ
Разбор
Частоту определяют эмпирически: как быстро падает качество модели на исторических данных при старении. Новую модель перед выкаткой сравнивают со старой на свежем отложенном периоде, проверяют на регрессии и выкатывают через shadow или A/B. Онлайн-обучение на каждом событии бывает (реклама), но требует защит от отравления и дрейфа.
- Организационные события тут ни при чём.
- Мир меняется, модели стареют.
- Обучение на каждом запросе это отдельный сложный режим, а не стратегия по умолчанию.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.