По порядку Middle Ловушки A/B обновлено
Разбор подозрительного результата A/B
Вопрос
Тест дал странный результат: в сегментах B лучше, в сумме хуже. Расставьте шаги разбора по порядку.
Попробуйте сами
Расставьте шаги по порядку стрелками.
- 1Проверить историю теста: менялись ли сплит, условия попадания, версии
- 2Перезапустить тест или анализировать только корректный период
- 3Найти и устранить причину перекоса
- 4Проверить SRM в целом и по сегментам
- 5Сравнить доли сегментов в группах по периодам
Показать ответ и разбор
Коротко
Сначала проверяют корректность самого эксперимента (SRM), затем изменения по ходу теста, потом смотрят, где именно разъехались доли сегментов, чинят причину, и только после этого делают выводы на чистых данных.
Правильный порядок
- 1Проверить SRM в целом и по сегментам
- 2Проверить историю теста: менялись ли сплит, условия попадания, версии
- 3Сравнить доли сегментов в группах по периодам
- 4Найти и устранить причину перекоса
- 5Перезапустить тест или анализировать только корректный период
Разбор
Сначала проверяют корректность самого эксперимента (SRM), затем изменения по ходу теста, потом смотрят, где именно разъехались доли сегментов, чинят причину, и только после этого делают выводы на чистых данных.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Ещё по теме «Ловушки A/B»
- Кейс: эффект затухает по неделям
- Кейс: тест покрасился на четвёртый день
- Кейс: поменяли сплит посреди теста
- Кейс: тест цены в такси
- Эффект по дням теста: поиск новизны
- Парадокс Симпсона: конверсия в сумме и по сегментам
- A/B при сетевых эффектах
- Объяснить менеджеру вред подглядывания