Выбор ответа Middle Процессы и метрики качества обновлено
Нестабильные автотесты
Вопрос
Почему высокая доля нестабильных (flaky) автотестов опасна, даже если они «потом проходят при перезапуске»?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Команда привыкает игнорировать красное и пропускает настоящие падения. Если прогоны часто краснеют без причины, люди перестают им верить и нажимают «перезапустить», не глядя.
Варианты ответа
- Они замедляют ночные сборки, а дневные прогоны не затрагивают
- Команда привыкает игнорировать красное и пропускает настоящие паденияправильный ответ
- Нестабильный тест каждый раз указывает на реальный баг продукта
- Это не опасно: раз тест проходит при перезапуске, продукт работает
Разбор
Если прогоны часто краснеют без причины, люди перестают им верить и нажимают «перезапустить», не глядя. Настоящая регрессия тонет в шуме. Нестабильность бывает из-за теста (ожидания, порядок, данные), окружения или реальной гонки в продукте, поэтому её разбирают, а не перезапускают. Замедление сборок тоже проблема, но вторичная.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.