A/B: Манна-Уитни значим, средняя выручка упала
Вопрос
Тест: Манна-Уитни по выручке на пользователя p = 0.002 в пользу B, но средняя выручка в B ниже на 3% (t-тест p = 0.3). Больше людей в B стали покупать дешёвый товар, дорогих покупок меньше. Что докладывать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Варианты ответа
- B лучше: Манна-Уитни мощнее t-теста, ему и верим
- Ранговый тест видит сдвиг распределения, а не рост денегправильный ответ
- Результаты противоречат друг другу, значит тест сломан
- Нужно взять медиану выручки, она и решит этот спор
Разбор
Тесты отвечают на разные вопросы. Ранговый тест увидел, что типичный пользователь B «выше» по рангу (больше мелких покупок вместо нулей), а деньги складываются по среднему, и среднее не выросло. Эффект по деньгам не доказан и скорее отрицательный, решать нужно по средней выручке и её интервалу. Противоречия и поломки нет. Медиана выручки при большой доле нулей может быть нулём в обеих группах и тоже не отвечает на вопрос о деньгах.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.