Выбор ответа Senior t-тест и z-тест спрашивают часто обновлено
A/B: выручка решается тремя китами
Вопрос
В тесте ARPU в B выше на 8%, p = 0.03. Если убрать трёх пользователей с самыми большими покупками (все в B), разница исчезает. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Проверить устойчивость: винзоризация, бутстреп, разбор метрики. Эффект, который держится на трёх наблюдениях, ненадёжен: тяжёлый хвост делает t-тест на средних нестабильным.
Варианты ответа
- Внедрять: p < 0.05, а крупные покупатели тоже клиенты
- Удалить этих трёх пользователей и объявить, что эффекта нет
- Проверить устойчивость: винзоризация, бутстреп, разбор метрикиправильный ответ
- Перейти на Манна-Уитни и принять его ответ как итоговый
Разбор
Эффект, который держится на трёх наблюдениях, ненадёжен: тяжёлый хвост делает t-тест на средних нестабильным. Правильно применить заранее оговорённую обработку выбросов (винзоризация, логарифм), бутстреп и разложить метрику на конверсию и средний чек. Удалять неудобные точки задним числом нельзя. Манна-Уитни ответит на другой вопрос, а не о среднем доходе.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Ещё по теме «t-тест и z-тест»
- t-статистика и степени свободы Уэлча
- z-тест для двух конверсий на Python
- Дробные степени свободы у Уэлча
- Какой тест для какой задачи
- Нужна ли нормальность данных для t-теста
- Односторонний тест после взгляда на данные
- Когда нужен парный t-тест
- Как считается парный t-тест