Выбор ответа Senior Оценка качества обновлено
A/B новой версии промпта
Вопрос
Новая версия промпта бота поддержки выиграла офлайн. Как правильно проверить её в проде?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: A/B-тест с заранее выбранной метрикой и ограничителями, рассчитанной выборкой, без досрочной остановки. Случайное разбиение трафика устраняет влияние сезонности и внешних событий, а заранее выбранные метрики и размер выборки защищают от подгонки.
Варианты ответа
- Выкатить на всех пользователей и сравнить метрики за неделю до и за неделю после выкатки
- A/B-тест с заранее выбранной метрикой и ограничителями, рассчитанной выборкой, без досрочной остановкиправильный ответ
- Показать пользователям оба ответа рядом и спросить, какой лучше, а затем выкатить победителя
- Смотреть на A/B каждый час и остановить тест, как только p-value главной метрики станет меньше 0.05
Разбор
Случайное разбиение трафика устраняет влияние сезонности и внешних событий, а заранее выбранные метрики и размер выборки защищают от подгонки. Сравнение «до и после» смешивает эффект с днём недели и другими изменениями. Показ двух ответов полезен для разметки, но меняет продукт и не меряет бизнес-эффект. Частое подглядывание с остановкой при первом p < 0.05 сильно завышает долю ложных срабатываний.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.