Тест Манна-Уитни: когда и почему
Вопрос
Расскажите про тест Манна-Уитни: что он проверяет, когда его применять, когда нет.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Ранговый тест, работает с порядком, а не величинами
H0: P(X > Y) = 1/2, а не равенство медиан
Подходит для порядковых шкал и малых выборок с выбросами
Для денежных метрик может ввести в заблуждение: деньги складываются по среднему
Много ничьих (нулей) снижает информативность
Альтернативы: t-тест на больших n, бутстреп, винзоризация
Что могут спросить следом
- Приведите пример, где медианы равны, а тест значим
- Почему не стоит переходить на Манна-Уитни из-за ненормальности при n = 100 000?
Разбор
Манна-Уитни объединяет две выборки, ранжирует значения и смотрит, чьи ранги в среднем выше. Статистика U считает пары, где наблюдение из A больше наблюдения из B. Нулевая гипотеза: случайное наблюдение из A с вероятностью 1/2 больше случайного из B. Это не тест медиан: так его можно читать только если распределения отличаются лишь сдвигом. Уместен для оценок по шкале, маленьких выборок с выбросами, когда интересен «типичный» пользователь. Для выручки опасен: бизнес интересует сумма денег, то есть среднее, а ранговый тест может быть значим, когда среднее не изменилось или упало. Плюс при 95% нулей он почти превращается в сравнение доли платящих. Для денег на больших выборках беру t-тест Уэлча, при тяжёлых хвостах винзоризацию или бутстреп.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.