Кейс: один оптовик в группе B
Вопрос
В тесте выручки в группе B оказался оптовый покупатель на 2 млн ₽ при среднем чеке 3 000 ₽. Эффект на выручку +7%, p = 0.04. Без него эффект +0.5%, p = 0.7. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Варианты ответа
- Выкатывать: значимость есть, оптовик тоже покупатель
- Убрать этого покупателя и выкатывать по второму результату
- Вывод держится на выбросе; впредь задавать винзоризациюправильный ответ
- Перезапустить тест, пока оптовик не попадёт в группу A
Разбор
Результат, который держится на одном пользователе, не говорит об эффекте изменения. Правило обработки выбросов должно быть задано до теста, иначе выбор «с ним или без него» становится подгонкой. Заранее заданная винзоризация снижает дисперсию денежных метрик и защищает от таких случаев. Перезапуск «пока не повезёт» это та же подгонка.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Кейс: CUPED и много новых пользователей
Следующий вопрос
Кейс: перекос платформ в группах