Выбор ответа Junior Дизайн A/B-теста обновлено
Длительность теста и недельная сезонность
Вопрос
По расчёту нужная выборка набирается за 3 дня. Почему тест всё равно ведут минимум неделю?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Чтобы покрыть недельную сезонность: выходные отличаются. Поведение по дням недели различается, и три будних дня не представляют обычную неделю.
Варианты ответа
- Так требует закон о персональных данных для экспериментов
- Чтобы покрыть недельную сезонность: выходные отличаютсяправильный ответ
- Чтобы p-value успел стабилизироваться ниже порога 0.05
- Чтобы набрать в 2 раза больше пользователей для надёжности
Разбор
Поведение по дням недели различается, и три будних дня не представляют обычную неделю. Поэтому тест идёт целыми неделями. Ждать, пока p-value «стабилизируется ниже 0.05», это подглядывание. Удвоение выборки и законы тут ни при чём.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.