Что делать с выбросами в аналитике
Вопрос
Как вы поступаете с выбросами в данных при анализе и в A/B-тестах?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Сначала понять природу: ошибка, бот, тест или реальный крупный клиент
Ошибки и ботов исправить или исключить по правилу, записанному заранее
Реальные значения не удалять: они часть бизнеса
Для тестов: винзоризация или устойчивые метрики, правило до запуска
Проверить чувствительность вывода: с выбросами и без
Одинаковая обработка во всех группах
Что могут спросить следом
- Почему опасно удалять выбросы после просмотра результата теста?
- Чем винзоризация лучше обрезки?
Разбор
Выброс для меня не повод удалять, а повод разобраться. Ошибка данных (возраст 300 лет), бот или тестовый аккаунт исправляются или исключаются, причём по правилу, а не вручную. Реальные крупные клиенты это бизнес, их выручка настоящая, и удалить их значит соврать в отчёте. В A/B-тестах крупные значения раздувают дисперсию и убивают мощность, поэтому заранее, до запуска, фиксирую обработку: обычно винзоризацию на 99-м или 99.9-м перцентиле, одинаково для обеих групп. Обрезка по результатам теста опасна: так легко подогнать вывод. И проверяю устойчивость: если вывод меняется от того, учли ли мы трёх клиентов, говорю об этом прямо.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Описательная статистика»
- Почему дисперсия выборки делится на n - 1
- Среднее, медиана и выборочное std на Python
- Выбросы по правилу Тьюки на Python
- Корреляция и причинность
- np.std и pandas std дают разные числа
- Как описать распределение метрики
- Правило Тьюки для выбросов
- Меры описательной статистики