Выбор ответа Middle t-тест и z-тест спрашивают часто обновлено
A/B: значимо, но эффект крошечный
Вопрос
Тест показал: конверсия 10.00% против 10.05%, p = 0.01 на 4 млн пользователей в группе, доверительный интервал разницы [+0.01; +0.09] п.п. Внедрение стоит 3 месяца работы команды. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Сравнить эффект в деньгах с затратами, а не по p-value. Статистическая значимость говорит только о том, что эффект вряд ли нулевой.
Варианты ответа
- Внедрять: эффект значим и интервал не содержит ноль
- Перезапустить тест на большей выборке для точности
- Тест провален: эффект меньше 1 п.п. и значит нулевой
- Сравнить эффект в деньгах с затратами, а не по p-valueправильный ответ
Разбор
Статистическая значимость говорит только о том, что эффект вряд ли нулевой. Решение принимают по величине эффекта и интервалу в деньгах против стоимости: даже верхняя граница может не окупить затрат. Больше данных тут не нужно: интервал уже узкий. «Провал из-за малого эффекта» тоже неверная формулировка: эффект есть, вопрос в окупаемости.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Ещё по теме «t-тест и z-тест»
- Парный t-тест на Python
- t-статистика и степени свободы Уэлча
- z-тест для двух конверсий на Python
- Дробные степени свободы у Уэлча
- Какой тест для какой задачи
- Нужна ли нормальность данных для t-теста
- Односторонний тест после взгляда на данные
- Когда нужен парный t-тест