Выбор ответа Senior ЦПТ и доверительные интервалы спрашивают часто обновлено
Клики одного пользователя и ЦПТ
Вопрос
В тесте рандомизация по пользователям, а метрика CTR считается как все клики / все показы, и SE посчитана, как будто каждый показ независим. Чем это плохо?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Показы зависимы, наивная SE занижена, ложных побед больше. ЦПТ и формулы SE требуют независимых наблюдений.
Варианты ответа
- Ничем: показов много, ЦПТ работает для любых данных
- Показы зависимы, наивная SE занижена, ложных побед большеправильный ответ
- Наивная SE завышена, и тест получается слишком консервативным
- Нужно просто перейти на медиану CTR по пользователям
Разбор
ЦПТ и формулы SE требуют независимых наблюдений. Показы одного пользователя коррелированы, поэтому реальная дисперсия больше, а наивная SE занижена. Корректно: считать SE по пользователям через дельта-метод, линеаризацию или бутстреп по пользователям. Медиана проблему зависимости не решает.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.