Выбор ответа Senior Метрики дизайна и A/B обновлено
Подглядывание в A/B
Вопрос
Через два дня после старта A/B-теста новой кнопки результат «значимый», и команда хочет остановить тест. Что не так?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Ранняя остановка завышает ложные срабатывания; ждать расчётный размер и неделю. Многократные проверки по ходу теста (peeking) резко увеличивают шанс случайно увидеть «значимость».
Варианты ответа
- Ничего: значимость есть значимость, дальше эффект только подтвердится
- Тест надо было запускать на 100% трафика, тогда выводы были бы надёжнее
- Значимость в A/B не важна, решение принимает дизайнер по качеству решения
- Ранняя остановка завышает ложные срабатывания; ждать расчётный размер и неделюправильный ответ
Разбор
Многократные проверки по ходу теста (peeking) резко увеличивают шанс случайно увидеть «значимость». Размер выборки и длительность считают до старта, а длительность берут целыми неделями из-за недельной сезонности. Если нужно смотреть по ходу, используют последовательные методы. 100% трафика не оставит контроля.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.