Выбор ответа Middle Хи-квадрат и Манна-Уитни спрашивают часто обновлено
A/B: проверка SRM хи-квадратом
Вопрос
Трафик делили 50/50. Пришло 50 900 в A и 49 100 в B, хи-квадрат согласия даёт p < 0.0001. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Искать причину SRM, а метрики пока не интерпретировать. При таком p расхождение почти наверняка не случайно: пользователи теряются или дублируются в одной из групп, и потерянные обычно не случайны.
Варианты ответа
- Ничего: разница меньше 2%, на выводы она не повлияет
- Перевзвесить группы и анализировать как обычно
- Обрезать большую группу случайно до размера меньшей
- Искать причину SRM, а метрики пока не интерпретироватьправильный ответ
Разбор
При таком p расхождение почти наверняка не случайно: пользователи теряются или дублируются в одной из групп, и потерянные обычно не случайны. Перевзвешивание и обрезка не устраняют смещение, а «меньше 2%» на 100 000 пользователей это очень много. Сначала диагностика: где теряются пользователи.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.