Нужна ли нормальность данных для t-теста
Вопрос
Коллега говорит: «чеки не нормальные, значит t-тест применять нельзя, только Манна-Уитни». Что вы ответите?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
t-тесту нужна примерная нормальность выборочного среднего, а не данных
На больших выборках это даёт ЦПТ
На тяжёлых хвостах сходимость медленная: смотреть размер выборки, проверять A/A или симуляциями
Манна-Уитни проверяет другую гипотезу (сдвиг распределений, а не равенство средних)
Альтернативы: бутстреп, логарифм с оговоркой, винзоризация
Что могут спросить следом
- Как проверить, что t-тест не врёт на ваших данных?
- Что именно сравнивает Манна-Уитни?
Разбор
Нормальность самих данных t-тесту не нужна. Ему нужно, чтобы выборочное среднее было примерно нормальным, а на больших выборках это обеспечивает ЦПТ. Оговорка в том, что для очень скошенных метрик сходимость медленная, и на сотнях наблюдений тест может ошибаться, поэтому проверяю на A/A-тестах или симуляцией по историческим данным, что доля ложных срабатываний около 5%. Переход на Манна-Уитни меняет вопрос: он не сравнивает средние, а проверяет, что значения одной группы систематически больше, и для выручки бизнесу обычно нужен именно эффект на среднее. Если хвост мешает, винзоризую, использую бутстреп или логарифм, помня, что логарифм меняет метрику на геометрическое среднее.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.