Множественные проверки в A/B
Вопрос
Почему в A/B-тестах важна проблема множественных проверок и как вы с ней работаете?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Каждая проверка на 5% даёт шанс ложной находки, они накапливаются: 1 - (1 - α)^m
Источники: много метрик, много вариантов, сегменты, подглядывание
Главная метрика заявляется до теста, остальные вспомогательные
FWER (Бонферрони, Холм) для решающих проверок
FDR (Бенджамини-Хохберг) для разведки по многим метрикам
Находки в сегментах это гипотезы для нового теста
Что могут спросить следом
- Чем Холм лучше Бонферрони?
- Когда допустим FDR вместо FWER?
- Как бороться с подглядыванием?
Разбор
Один тест на уровне 0.05 ошибается в 5% случаев, но в продуктовом тесте мы обычно делаем десятки проверок: много метрик, несколько вариантов, разрезы по сегментам, ежедневные взгляды на результат. При 20 независимых проверках шанс хотя бы одной ложной находки уже около 64%. Поэтому главная метрика и её решение фиксируются до старта, остальные метрики вспомогательные или guardrail. Если проверок, на которых строится решение, несколько, например три варианта против контроля, использую поправку на FWER: Холм не хуже Бонферрони и мощнее. Для разведки по десяткам метрик достаточно FDR через Бенджамини-Хохберга. Находки в сегментах после теста не раскатываю, а оформляю как гипотезу для отдельного теста. С подглядыванием Бонферрони не помогает, нужны последовательные методы.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.