Выбор ответа Junior Дизайн A/B-теста обновлено
Зачем нужен A/A-тест
Вопрос
Зачем запускают A/A-тест, где обе группы видят одно и то же?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Проверить сплит и что критерий даёт около α ложных побед. A/A проверяет инфраструктуру: группы равного размера и похожи, а доля «значимых» результатов близка к уровню значимости.
Варианты ответа
- Чтобы измерить эффект новизны до запуска основного теста
- Чтобы увеличить выборку перед A/B-тестом без лишнего риска
- Чтобы выбрать целевую метрику с наименьшей дисперсией
- Проверить сплит и что критерий даёт около α ложных победправильный ответ
Разбор
A/A проверяет инфраструктуру: группы равного размера и похожи, а доля «значимых» результатов близка к уровню значимости. Если A/A красятся заметно чаще 5%, ошибка в расчёте дисперсии или в рандомизации. Эффект новизны в A/A не измерить: изменения нет, выборку он не увеличивает, а метрику выбирают из гипотезы.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.