Выбор ответа Middle Какие бывают метрики спрашивают часто обновлено

Роль защитной метрики

Вопрос

Зачем в эксперименте нужны защитные метрики?

Попробуйте сами

Выберите вариант, и откроется разбор.

Показать ответ и разбор

Коротко

Правильный ответ: Чтобы заметить вред в другом месте при росте целевой. Защитные метрики (guardrails) ловят побочные эффекты: выросла конверсия, но упала выручка или выросли отмены.

Варианты ответа

  1. Чтобы заменить целевую метрику, если та не выросла
  2. Чтобы заметить вред в другом месте при росте целевойправильный ответ
  3. Чтобы увеличить размер выборки и мощность теста
  4. Чтобы ускорить тест и остановить его раньше

Разбор

Защитные метрики (guardrails) ловят побочные эффекты: выросла конверсия, но упала выручка или выросли отмены. Подменять ими целевую после теста нельзя, это подгонка. На размер выборки и скорость теста они не влияют.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.