Проклятие победителя
Вопрос
Почему эффект выкаченных тестов в проде обычно меньше, чем в тесте?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Проклятие победителя: порог значимости проходят в основном те тесты, где шум случайно добавил к эффекту. Оценка эффекта у «победителей» систематически завышена, особенно при низкой мощности. Плюс эффект новизны и разница условий. Помогают мощные тесты, holdout-группы и сжатие оценок к нулю.
Разбор
Проклятие победителя: порог значимости проходят в основном те тесты, где шум случайно добавил к эффекту. Оценка эффекта у «победителей» систематически завышена, особенно при низкой мощности. Плюс эффект новизны и разница условий. Помогают мощные тесты, holdout-группы и сжатие оценок к нулю.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.