Подглядывание в A/B-тесте
Вопрос
Что такое peeking и чем он опасен?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Многократная проверка результата по ходу теста с остановкой при первом p < α. Каждая проверка добавляет шанс случайно пересечь порог, и реальная ошибка первого рода становится в разы больше α. Решения: одна проверка в конце или последовательный дизайн.
Разбор
Многократная проверка результата по ходу теста с остановкой при первом p < α. Каждая проверка добавляет шанс случайно пересечь порог, и реальная ошибка первого рода становится в разы больше α. Решения: одна проверка в конце или последовательный дизайн.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.