Алерт в 3 ночи: ошибки после релиза
Вопрос
Интервьюер: «3 часа ночи, вам пришёл алерт: доля 5xx в API оформления заказа 15%. Вечером был релиз. Рассказывайте по шагам, что делаете».
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Подтвердить алерт, открыть дашборд: влияние, с какого времени, какие эндпоинты
Сопоставить с изменениями: релиз, конфиг, флаги, миграции
Объявить инцидент и уровень, позвать нужных людей при необходимости
Смягчить: откатить релиз или выключить флаг, не чинить на горячую
Проверить восстановление по метрикам, сообщить статус
Записать хронологию и завести постмортем
Что могут спросить следом
- Что если откат не помог?
- Что если релиз содержал миграцию базы?
- Когда будить коллег?
Разбор
Образцовый ответ: «Подтверждаю алерт, чтобы не разбудить следующего по эскалации. Открываю дашборд сервиса: 15% ошибок с 02:40, только на POST /orders, задержка в норме. Смотрю аннотации: релиз в 21:00, но в 02:40 включили флаг новой скидки, значит, подозреваю его. Объявляю SEV2 в канале инцидентов. Самое быстрое и обратимое: выключить флаг. Через пару минут доля ошибок падает до фоновой. Если бы не помогло, откатил бы релиз, а если в релизе была миграция, проверил бы по раннбуку, совместима ли она со старой версией. Пишу статус поддержке, фиксирую хронологию со временем. Утром передаю команде и назначаю постмортем. Будить коллег буду, если за 15-20 минут не стабилизирую или если нужен владелец незнакомой системы».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.