Выбор ответа Senior Метрики дизайна и A/B обновлено
Защитные метрики
Вопрос
Новый дизайн кнопки «Купить» поднял конверсию в оплату на 5%, но выросли возвраты и обращения в поддержку. Как оценить результат?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Учесть guardrail-метрики: если возвраты съели прирост, это неуспех. Целевая метрика может расти за счёт ухудшения опыта: случайные нажатия, непонимание условий.
Варианты ответа
- Успех: целевая метрика выросла, а возвраты оценят в отдельном тесте
- Учесть guardrail-метрики: если возвраты съели прирост, это неуспехправильный ответ
- Возвраты не связаны с дизайном кнопки, их можно не учитывать
- Увеличить кнопку ещё больше, раз крупная кнопка подняла конверсию
Разбор
Целевая метрика может расти за счёт ухудшения опыта: случайные нажатия, непонимание условий. Защитные (guardrail) метрики фиксируют заранее, и рост возвратов говорит, что человек купил не то, что хотел. Оценивают чистый эффект, а иногда и долгосрочный. Игнорировать сигналы или «усиливать» нельзя.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.