Выбор ответа Senior Дизайн A/B-теста спрашивают часто обновлено
Единица рандомизации и единица анализа
Вопрос
Рандомизировали по пользователям, а CTR считают как клики / показы, применяя к показам формулу дисперсии для независимых наблюдений. К чему это приведёт?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: К заниженной дисперсии и лишним ложным «значимым» итогам. Показы одного пользователя зависимы: он кликает в своей манере.
Варианты ответа
- Ни к чему: показов больше, и оценка станет только точнее
- К завышенной дисперсии и слишком осторожным выводам
- К заниженной дисперсии и лишним ложным «значимым» итогамправильный ответ
- К смещению среднего CTR в сторону активных пользователей
Разбор
Показы одного пользователя зависимы: он кликает в своей манере. Формула для независимых наблюдений эту зависимость игнорирует и занижает дисперсию, поэтому p-value получаются слишком маленькими. Само значение CTR не смещается, страдает только оценка разброса. Правильно: дельта-метод, линеаризация или бутстреп по пользователям.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.