Код-ревью Senior Метрики дизайна и A/B обновлено
Ревью плана A/B-теста
Вопрос
Дизайнер прислал план A/B-теста нового экрана оформления. Найдите проблемы.
1. Гипотеза: новый дизайн лучше
2. Метрики: конверсия, время на странице, клики, глубина просмотра, NPS; решим по той, что вырастет
3. Рандомизация: по сессиям, чтобы быстрее набрать выборку
4. Длительность: смотрим каждый день, остановим, когда станет значимо
5. Вариант B: новый дизайн, новые тексты, новая цена доставки и другой порядок шагов
6. Аудитория: только пользователи Chrome на десктопе, остальные пока в контроле
Коротко
План теста пишут до запуска: проверяемая гипотеза, одна целевая метрика, защитные метрики, единица рандомизации, размер и длительность, критерий решения. Каждый пункт здесь нарушает одно из этих правил.
Что должен найти ревьюер
- Ошибкастрока 1Гипотеза не проверяема: нет изменения, механизма и ожидаемого эффекта в метрике.
- Ошибкастрока 2Выбор метрики после результата: из пяти метрик одна вырастет случайно. Нужна одна целевая и guardrail, заданные заранее.
- Ошибкастрока 3Рандомизация по сессиям: один человек увидит оба варианта, наблюдения зависимы. Рандомизируют по пользователям.
- Ошибкастрока 4Подглядывание и остановка при первой значимости завышают ложные срабатывания. Размер и длительность считаются заранее.
- Ошибкастрока 5Изменено всё сразу, включая цену: даже при эффекте непонятно, что сработало, а цена доставки маскирует эффект дизайна.
- Стильстрока 6Узкий сегмент не переносится на всех; если ограничивать, то осознанно и с выводами только по нему.
Разбор
План теста пишут до запуска: проверяемая гипотеза, одна целевая метрика, защитные метрики, единица рандомизации, размер и длительность, критерий решения. Каждый пункт здесь нарушает одно из этих правил.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.