Выбор ответа Senior Ожидания и флаки обновлено
Ретраи и флаки
Вопрос
В CI включили retries: 2, и красных билдов стало меньше. Что важно сделать дальше?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Разбирать тесты, прошедшие со второй попытки, флаки в карантин. Ретрай маскирует симптом: тест, который прошёл со второй попытки, по-прежнему нестабилен и может скрывать настоящую гонку в продукте.
Варианты ответа
- Ничего: билд зелёный, значит проблема с флаки решена
- Увеличить retries до 5, чтобы красных билдов не осталось
- Разбирать тесты, прошедшие со второй попытки, флаки в карантинправильный ответ
- Отключить ретраи для smoke-набора, а в полном регрессе оставить их как есть
Разбор
Ретрай маскирует симптом: тест, который прошёл со второй попытки, по-прежнему нестабилен и может скрывать настоящую гонку в продукте. Нужны метрика флаки (в Playwright такие тесты получают статус flaky), разбор причин и карантин с ответственным. Увеличение ретраев прячет проблему ещё глубже.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.