Выбор ответа Middle Мощность и размер выборки обновлено
Сплит 90/10 и мощность
Вопрос
Новую версию решили показать только 10% трафика (90/10 вместо 50/50). Как это повлияет на тест?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Для той же мощности нужно больше трафика и дней. Дисперсия оценки разницы равна σ²/n₁ + σ²/n₂ и минимальна при равных группах.
Варианты ответа
- Для той же мощности нужно больше трафика и днейправильный ответ
- Никак: важно только общее число пользователей
- Мощность вырастет: контроль станет точнее
- Тест станет некорректным, так делить нельзя
Разбор
Дисперсия оценки разницы равна σ²/n₁ + σ²/n₂ и минимальна при равных группах. При 90/10 маленькая группа доминирует в шуме, и для той же мощности нужно заметно больше трафика. Это нормальная практика для рискованных изменений, просто за неё платят длительностью.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.