Выбор ответа Senior Дизайн A/B-теста обновлено
Кейс: изменение видит малая часть группы
Вопрос
Изменили страницу оплаты, но в тест включили всех пользователей приложения, а до оплаты доходят 5%. Эффект на всех +0.2%, не значим. Что разумно сделать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Triggered-анализ: сравнить дошедших до оплаты в обеих группах. 95% пользователей изменения не увидели, они добавляют только шум и размывают эффект.
Варианты ответа
- Triggered-анализ: сравнить дошедших до оплаты в обеих группахправильный ответ
- Признать, что изменение не работает, и откатить страницу
- Сравнить дошедших до оплаты в B со всеми пользователями A
- Удвоить длительность и снова смотреть на всех пользователей
Разбор
95% пользователей изменения не увидели, они добавляют только шум и размывают эффект. Анализ только тех, кто дошёл до точки изменения, при одинаковом правиле отбора в обеих группах резко повышает чувствительность. Сравнение триггерной части B со всей A смешивает эффект с отбором. Продление теста помогает слабо, а вывод «не работает» преждевременен при низкой мощности.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.