Стратегия регрессии
Вопрос
Как выстроить регрессионное тестирование в продукте с релизами раз в две недели?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Анализ влияния изменений для выбора объёма
Приоритизация тест-кейсов по рискам и критичности сценариев
Автоматизация стабильной части регрессии и запуск в CI
Ручная регрессия на рискованных и новых местах
Регулярная чистка набора: удалять устаревшее, добавлять тесты по утёкшим багам
Метрики: время регрессии, утечка дефектов, флаки
Что могут спросить следом
- Как понять, что регрессионный набор устарел?
- Что делать с нестабильными автотестами?
- Как ускорить регрессию вдвое?
Разбор
Регрессия не должна быть «прогнать всё», иначе её либо не успевают, либо делают формально. Набор делю на уровни приоритета: критичные бизнес-сценарии, важные и остальные. Стабильную и повторяющуюся часть автоматизирую и запускаю в CI на каждую сборку. Ручную регрессию выбираю по анализу влияния: что поменяли в этом спринте и что от этого зависит, плюс места, где исторически много багов. Набор регулярно чищу: удаляю проверки удалённых функций, а по каждому дефекту, утёкшему в прод, добавляю тест. Слежу за временем прогона, утечкой дефектов и нестабильными тестами, потому что флаки быстро убивают доверие к автоматике.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.