Кейс: тест цены в такси
Вопрос
В такси тестируют новый алгоритм назначения водителей, рандомизация по заказам. Время подачи в B лучше на 8%. Почему результату нельзя доверять и как перепроверить?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Варианты ответа
- Можно доверять: заказов миллионы, оценка точная
- Нужна поправка на множественные проверки по районам
- Нужно рандомизировать по пассажирам вместо заказов
- Общие водители: нужен switchback или сплит по регионамправильный ответ
Разбор
Водители общие для обеих групп, и алгоритм B может забирать ближайших водителей у заказов A: контроль ухудшается из-за теста, разница завышена. Рандомизация по пассажирам проблему общих водителей не решает. В таких системах используют switchback: весь регион переключается между алгоритмами по интервалам времени, или рандомизацию по изолированным кластерам. Объём данных и поправки к интерференции отношения не имеют.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Кейс: поменяли сплит посреди теста
Следующий вопрос
Эффект по дням теста: поиск новизны
Ещё по теме «Ловушки A/B»
- Кейс: эффект затухает по неделям
- Кейс: тест покрасился на четвёртый день
- Парадокс Симпсона: конверсия в сумме и по сегментам
- A/B при сетевых эффектах
- Эффект новизны
- Разбор подозрительного результата A/B
- Подглядывание в A/B-тесте
- Объяснить менеджеру вред подглядывания