A/B для модели
Вопрос
Как проверить новую модель через A/B-тест?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Разделить пользователей случайно, контроль со старой моделью, тест с новой; заранее зафиксировать целевую и защитные метрики, размер выборки и длительность; проверить SRM и не подглядывать. Офлайн-метрика не заменяет A/B, потому что модель меняет поведение пользователей.
Разбор
Разделить пользователей случайно, контроль со старой моделью, тест с новой; заранее зафиксировать целевую и защитные метрики, размер выборки и длительность; проверить SRM и не подглядывать. Офлайн-метрика не заменяет A/B, потому что модель меняет поведение пользователей.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.