Что делать при SRM
Вопрос
На дашборде эксперимента загорелся SRM: 50/50 по плану, фактически 50.8/49.2 на миллионе пользователей. Что будете делать?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Результаты теста не интерпретировать
Найти, с какого дня и в каких срезах перекос: платформа, браузер, страна, новые и старые
Проверить механику: редиректы, падения версии B, задержки логирования, фильтры ботов
Проверить, не меняли ли сплит или условия попадания в тест
Починить и перезапустить с нуля
Добавить автоматическую SRM-проверку в платформу
Что могут спросить следом
- Почему нельзя просто перевзвесить группы?
- Может ли SRM быть только в одном сегменте?
- Какие причины SRM встречаются чаще всего?
Разбор
Сначала фиксирую, что выводы по метрикам делать нельзя: группы уже не сравнимы, и любое смещение отбора может дать ложный эффект. Дальше локализую: строю соотношение групп по дням и по срезам, платформа, версия приложения, браузер, страна, новые и старые. Обычно перекос сидит в одном срезе или начинается с конкретного релиза. Проверяю механику: редирект на версию B теряет часть пользователей, B падает в каком-то браузере, события B логируются с задержкой, фильтр ботов по-разному срабатывает на версиях, кто-то поменял сплит посреди теста. Нашёл причину: чиню и перезапускаю тест с чистыми данными. Перевзвешивание не помогает, потому что проблема в том, кто именно потерялся, а не в количестве.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.