Ответ вслух Senior Описательная статистика обновлено

Что делать с выбросами в аналитике

Вопрос

Как вы поступаете с выбросами в данных при анализе и в A/B-тестах?

Попробуйте сами

Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.

Показать ответ и разбор

Коротко

Выброс для меня не повод удалять, а повод разобраться. Ошибка данных (возраст 300 лет), бот или тестовый аккаунт исправляются или исключаются, причём по правилу, а не вручную.

Что должно прозвучать в ответе

  • Сначала понять природу: ошибка, бот, тест или реальный крупный клиент

  • Ошибки и ботов исправить или исключить по правилу, записанному заранее

  • Реальные значения не удалять: они часть бизнеса

  • Для тестов: винзоризация или устойчивые метрики, правило до запуска

  • Проверить чувствительность вывода: с выбросами и без

  • Одинаковая обработка во всех группах

Что могут спросить следом

  • Почему опасно удалять выбросы после просмотра результата теста?
  • Чем винзоризация лучше обрезки?

Разбор

Выброс для меня не повод удалять, а повод разобраться. Ошибка данных (возраст 300 лет), бот или тестовый аккаунт исправляются или исключаются, причём по правилу, а не вручную. Реальные крупные клиенты это бизнес, их выручка настоящая, и удалить их значит соврать в отчёте. В A/B-тестах крупные значения раздувают дисперсию и убивают мощность, поэтому заранее, до запуска, фиксирую обработку: обычно винзоризацию на 99-м или 99.9-м перцентиле, одинаково для обеих групп. Обрезка по результатам теста опасна: так легко подогнать вывод. И проверяю устойчивость: если вывод меняется от того, учли ли мы трёх клиентов, говорю об этом прямо.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.

Термины по теме