Выбор ответа Junior Дизайн A/B-теста спрашивают часто обновлено
Целевая метрика A/B-теста
Вопрос
Сколько целевых (primary) метрик стоит выбрать для решения по A/B-тесту и когда?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Одну, до запуска теста. Решение принимают по одной заранее выбранной метрике, остальные служат прокси и guardrail.
Варианты ответа
- Одну, до запуска тестаправильный ответ
- Пять-десять, чтобы точно что-то покрасилось
- Одну, но выбрать после теста ту, что изменилась сильнее
- Не нужно выбирать: решают по всем метрикам сразу
Разбор
Решение принимают по одной заранее выбранной метрике, остальные служат прокси и guardrail. Много целевых метрик без поправки раздувают шанс ложной победы. Выбор после теста это подгонка: при десятке метрик хоть одна покрасится случайно. Решение «по всем сразу» без правил превращается в выбор удобной.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.