Выбор ответа Middle Ловушки A/B обновлено
Кейс: эффект затухает по неделям
Вопрос
Новый дизайн ленты: эффект на клики по неделям +9%, +5%, +2%, +1%. Общий эффект за 4 недели +4%, значим. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Похоже на новизну: смотреть последние недели и holdout. Монотонное затухание типично для новизны: устойчивый эффект, скорее всего, около +1% или меньше.
Варианты ответа
- Выкатывать и обещать +4% по итогам четырёх недель
- Признать эффект нулевым и откатить новый дизайн
- Похоже на новизну: смотреть последние недели и holdoutправильный ответ
- Выкинуть первую неделю как выброс и пересчитать p-value
Разбор
Монотонное затухание типично для новизны: устойчивый эффект, скорее всего, около +1% или меньше. Обещать +4% нельзя. Откатывать тоже рано: небольшой долгосрочный эффект может остаться. Убирать неделю задним числом и пересчитывать значимость это подгонка, лучше заранее определённый анализ последних недель и holdout.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.