Выбор ответа Senior Описательная статистика обновлено
Выбросы в метрике A/B-теста
Вопрос
В метрике «выручка на пользователя» несколько оптовиков дают огромную дисперсию, и тест не набирает мощность. Что разумно сделать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Винзоризовать по заранее выбранному перцентилю, одинаково в группах. Винзоризация режет влияние хвоста, но сохраняет пользователей в выборке, и правило задаётся заранее.
Варианты ответа
- Удалить пользователей выше 99-го перцентиля из обеих групп после теста
- Винзоризовать по заранее выбранному перцентилю, одинаково в группахправильный ответ
- Перейти на медиану выручки без пересчёта мощности и длительности
- Ничего: выбросы не влияют на t-тест при большой выборке
Разбор
Винзоризация режет влияние хвоста, но сохраняет пользователей в выборке, и правило задаётся заранее. Удаление пользователей по результату ломает рандомизацию и может создать смещение. Медиана меняет вопрос (эффект на типичного, а не на выручку) и требует другого теста. Выбросы сильно раздувают дисперсию, поэтому влияют на t-тест.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Описательная статистика»
- Почему дисперсия выборки делится на n - 1
- Среднее, медиана и выборочное std на Python
- Выбросы по правилу Тьюки на Python
- Корреляция и причинность
- np.std и pandas std дают разные числа
- Как описать распределение метрики
- Правило Тьюки для выбросов
- Меры описательной статистики