Выбор ответа Middle Дизайн A/B-теста спрашивают часто обновлено
Кейс: целевая выросла, guardrail упал
Вопрос
Новая выдача рекомендаций: выручка на пользователя +3% (p = 0.002), но доля возвратов заказов +12% (p = 0.001), возвраты заданы как guardrail. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Не выкатывать так: guardrail хуже, разобрать возвраты и чистую выручку. Guardrail затем и задают, чтобы не выиграть ценой вреда: выдача, видимо, продвигает товары, которые чаще возвращают, и чистая выручка может оказаться ниже.
Варианты ответа
- Выкатывать: целевая метрика значимо выросла, это главное
- Не выкатывать так: guardrail хуже, разобрать возвраты и чистую выручкуправильный ответ
- Игнорировать возвраты: это не целевая метрика, она лишь для контроля
- Перезапустить тест с другим разбиением, чтобы перепроверить возвраты
Разбор
Guardrail затем и задают, чтобы не выиграть ценой вреда: выдача, видимо, продвигает товары, которые чаще возвращают, и чистая выручка может оказаться ниже. Выкатка «по целевой» или игнорирование возвратов противоречат дизайну. Перезапуск ничего не даст: оба эффекта значимы и согласованы.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Кейс: изменение видит малая часть группы
Следующий вопрос
Кейс: рандомизация по сессиям