Выбор ответа Middle Ловушки A/B обновлено
Сетевые эффекты в маркетплейсе
Вопрос
Тест скидки для покупателей маркетплейса с ограниченным товаром. Почему обычный тест по пользователям может завысить эффект?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: B выкупает дефицитный товар, и A достаётся меньше. Нарушено допущение SUTVA: результат пользователя A зависит от действий B через общий запас.
Варианты ответа
- B выкупает дефицитный товар, и A достаётся меньшеправильный ответ
- Пользователи B увидят скидку позже, чем она начнёт действовать
- Скидочные покупатели распределены поровну, проблемы нет
- Покупателей слишком много для t-теста, он будет завышен
Разбор
Нарушено допущение SUTVA: результат пользователя A зависит от действий B через общий запас. Контроль ухудшается из-за теста, разница раздувается, а в проде, где скидка у всех, такого прироста не будет. Решение: рандомизация по кластерам (регионам) или switchback по времени. Распределение покупателей и размер выборки тут не проблема.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.