Выбор ответа Middle Гипотезы, MVP и эксперименты спрашивают часто обновлено
Подглядывание
Вопрос
Тест запланирован на 14 дней. На третий день p-value стал 0,03. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Продолжать до срока: ранняя остановка завышает ложные срабатывания. При многократных проверках значимость рано или поздно «случается» случайно.
Варианты ответа
- Остановить тест и внедрить: результат значим, ждать дальше нет смысла
- Продолжать до срока: ранняя остановка завышает ложные срабатыванияправильный ответ
- Остановить тест и перезапустить с новой, более чувствительной метрикой
- Удвоить трафик в тестовую группу, чтобы быстрее набрать выборку и закончить
Разбор
При многократных проверках значимость рано или поздно «случается» случайно. Тест останавливают по плану, если не используется последовательный дизайн, рассчитанный на промежуточные проверки. Смена метрики после старта подгонка. Перекос трафика нарушает план и не решает проблему подглядывания.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Гипотезы, MVP и эксперименты»
- Этапы A/B-теста
- Консьерж или Оз
- Конфликт метрик
- Фейковая дверь
- Проверяемая гипотеза
- Защитная метрика
- Защитные метрики
- Шаблон гипотезы