Как понять, что качество хорошее
Вопрос
Как ты оцениваешь качество продукта и работу тестирования? Какие метрики смотришь?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Утечка дефектов в прод и DRE
Открытые дефекты по серьёзности и их возраст
Покрытие требований и рисков тестами
Инциденты и жалобы пользователей
Время регрессии и стабильность автотестов
Метрики используются для решений, а не для KPI людей
Что могут спросить следом
- Почему число найденных багов плохой KPI?
- Как бы ты показал руководству динамику качества?
Разбор
Главная метрика для меня утечка: сколько дефектов, особенно критичных, нашли пользователи, а не мы. Из неё считается DRE. Дальше смотрю на открытые дефекты по серьёзности и их возраст: старые критичные баги говорят о проблемах в приоритизации. Покрытие требований и рисков показывает, нет ли непроверенных зон. Инциденты и обращения в поддержку дают взгляд со стороны пользователя. Для процесса важны время регрессии и доля нестабильных автотестов. И я осторожен с превращением метрик в цели: если оценивать тестировщиков по числу багов, получим много мелких дублей и меньше сложных находок.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.