Выбор ответа Middle Ловушки A/B спрашивают часто обновлено
Кейс: тест покрасился на четвёртый день
Вопрос
Тест рассчитан на 4 недели. На 4-й день менеджер видит конверсию +6%, p = 0.02, и просит выкатить. Что ответить?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Продолжить до срока: ранний взгляд раздувает ложные победы. Тест рассчитан на одну проверку через 4 недели. p-value на 4-й день при таком дизайне не имеет обещанной вероятности ошибки, а ещё не прошла недельная сезонность и может действовать эффект новизны.
Варианты ответа
- Выкатывать: p < 0.05, а эффект большой и бизнесу нужен
- Продолжить до срока: ранний взгляд раздувает ложные победыправильный ответ
- Остановить и перезапустить с большей выборкой и MDE
- Выкатить на 50% и смотреть дальше на оставшихся
Разбор
Тест рассчитан на одну проверку через 4 недели. p-value на 4-й день при таком дизайне не имеет обещанной вероятности ошибки, а ещё не прошла недельная сезонность и может действовать эффект новизны. Если досрочная остановка важна бизнесу, её закладывают в дизайн через последовательный тест. Перезапуск без причины и частичная выкатка ничего не проверяют.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.