Выбор ответа Senior CUPED и снижение дисперсии спрашивают часто обновлено
Кейс: CTR значим по показам
Вопрос
Тест выдачи: CTR в B выше на 2%, p = 0.001, если считать z-тест долей по показам. Рандомизация по пользователям, у части пользователей тысячи показов. Что сделать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Пересчитать дисперсию по пользователям. z-тест по показам считает их независимыми, хотя они сгруппированы по пользователям.
Варианты ответа
- Пересчитать дисперсию по пользователямправильный ответ
- Выкатывать: p очень маленький, ошибка исключена
- Перейти на критерий Манна-Уитни по показам
- Уменьшить порог до 0.0001, чтобы компенсировать
Разбор
z-тест по показам считает их независимыми, хотя они сгруппированы по пользователям. При тяжёлых пользователях с тысячами показов дисперсия занижена во много раз, и p = 0.001 может превратиться в незначимый результат. Манна-Уитни по показам имеет ту же проблему зависимости, а подбор порога не исправляет неверную дисперсию.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.