Выбор ответа Senior t-тест и z-тест спрашивают часто обновлено
Наблюдения не независимы: сессии вместо пользователей
Вопрос
Рандомизация по пользователям, а t-тест на время сессии сделали по всем сессиям как по независимым наблюдениям. К чему это ведёт?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: SE занижена, ложных побед будет больше, чем α. Сессии одного пользователя коррелированы, а тест считает их независимыми, поэтому эффективный размер выборки переоценён и стандартная ошибка занижена: p-value получаются слишком маленькими.
Варианты ответа
- Ни к чему: сессий больше, и тест становится только мощнее
- Тест станет консервативным и будет реже находить эффект
- SE занижена, ложных побед будет больше, чем αправильный ответ
- Ошибка только в df, а сам p-value почти не меняется
Разбор
Сессии одного пользователя коррелированы, а тест считает их независимыми, поэтому эффективный размер выборки переоценён и стандартная ошибка занижена: p-value получаются слишком маленькими. Правильно агрегировать до пользователя или считать ratio-метрику через дельта-метод или бутстреп по пользователям. Консервативным тест при этом не становится, и проблема не только в df.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Ещё по теме «t-тест и z-тест»
- A/B: значимо, но эффект крошечный
- A/B: выручка решается тремя китами
- Парный t-тест на Python
- t-статистика и степени свободы Уэлча
- z-тест для двух конверсий на Python
- Дробные степени свободы у Уэлча
- Какой тест для какой задачи
- Нужна ли нормальность данных для t-теста