Выбор ответа Senior ML в проде обновлено
Shadow-режим и канареечный запуск
Вопрос
Зачем выкатывать новую модель сначала в shadow-режиме?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Модель получает реальный трафик и логирует ответы, но решения не принимает: проверка без риска. Shadow ловит training-serving skew, ошибки и всплески задержки до влияния на пользователей, и показывает, насколько часто новая модель решает иначе.
Варианты ответа
- Модель получает реальный трафик и логирует ответы, но решения не принимает: проверка без рискаправильный ответ
- Чтобы сэкономить вычисления: shadow-модель считает прогноз только на части запросов
- Чтобы пользователи могли сами выбрать модель, сравнив ответы старой и новой версии
- Shadow-режим это синоним A/B-теста: часть пользователей получает решения новой модели
Разбор
Shadow ловит training-serving skew, ошибки и всплески задержки до влияния на пользователей, и показывает, насколько часто новая модель решает иначе. Дальше канареечный запуск на малой доле трафика и A/B для измерения эффекта. В shadow эффект на бизнес измерить нельзя: решения принимает старая модель.
- Вычислений больше, модели работают параллельно.
- Пользователь ничего не выбирает.
- A/B влияет на пользователей и меряет эффект, shadow нет.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.