Метрики автоматизации для руководства
Вопрос
Руководитель просит раз в месяц показывать, как дела с автотестами. Какие метрики и откуда возьмёте?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Время прогонов PR и регресса, тренд
Стабильность: доля флаки, доля broken
Падения по категориям: продукт, тест, окружение
Пойманные до прода баги и утёкшие в прод
Покрытие критичных сценариев, а не процент кейсов
Источник: история Allure или JUnit, данные CI, баг-трекер
Что могут спросить следом
- Как посчитать долю флаки?
- Что делать, если метрики стали хуже?
Разбор
Образцовый ответ: «Показываю то, что отвечает на вопрос, помогают ли тесты выпускать быстрее и безопаснее. Время: сколько идёт проверка PR и регресс, с трендом. Стабильность: доля флаки и broken, это доверие к красному билду. Причины падений по категориям: продукт, тест, окружение. Если окружение даёт половину падений, это задача для DevOps, а не для QA. Ценность: сколько багов поймано автотестами до прода и сколько утекло. Данные беру из истории отчётов и API CI, баги из трекера, собираю скриптом в дашборд. Процент автоматизированных кейсов не показываю как главную цифру: его легко накрутить»).
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.