Выбор ответа Senior Бутстреп и перестановки спрашивают часто обновлено
Что ресэмплить при CTR
Вопрос
Рандомизация по пользователям, метрика CTR = клики / показы. Как правильно бутстрепить интервал CTR?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Ресэмплить пользователей целиком: сумма кликов / сумма показов. Единица ресэмплинга совпадает с единицей рандомизации.
Варианты ответа
- Ресэмплить отдельные показы с возвращением, считая CTR
- Ресэмплить клики и показы независимо друг от друга
- Ресэмплить пользователей целиком: сумма кликов / сумма показовправильный ответ
- Бутстреп для отношений не применим, нужен только дельта-метод
Разбор
Единица ресэмплинга совпадает с единицей рандомизации. Показы одного пользователя коррелированы, и ресэмплинг показов игнорирует эту зависимость: интервал выйдет слишком узким. Независимый ресэмплинг числителя и знаменателя ломает их связь. Бутстреп для ratio-метрик как раз применим, альтернатива ему дельта-метод.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.