Выбор ответа Senior Дизайн A/B-теста обновлено
Кейс: рандомизация по сессиям
Вопрос
Тест цены доставки рандомизировали по сессиям. Один и тот же пользователь видел то 99 ₽, то 199 ₽. Конверсия в B выше, p = 0.03. Что не так и что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Видел обе цены: эффекты смешались, нужен сплит по людям. При рандомизации по сессиям пользователь сравнивает цены и может откладывать покупку до «дешёвой» сессии: тест измеряет не то, что будет в проде, где цена одна.
Варианты ответа
- Всё правильно: сессий больше, чем пользователей, тест мощнее
- Применить поправку Бонферрони на число сессий у пользователя
- Посчитать отдельно пользователей с одной сессией и выкатить
- Видел обе цены: эффекты смешались, нужен сплит по людямправильный ответ
Разбор
При рандомизации по сессиям пользователь сравнивает цены и может откладывать покупку до «дешёвой» сессии: тест измеряет не то, что будет в проде, где цена одна. Плюс сессии одного человека зависимы, и обычная дисперсия занижена. Поправка Бонферрони про множественные проверки, а подвыборка пользователей с одной сессией смещена. Правильно: перезапуск с рандомизацией по пользователю.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.