Расскажите о серьёзном инциденте
Вопрос
Интервьюер: «Расскажите о самом серьёзном инциденте, в котором вы участвовали. Что случилось, что вы делали, чему научились?»
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Контекст и влияние в цифрах: что сломалось, сколько пользователей, сколько длилось
Ваша роль и конкретные действия
Как нашли причину и как смягчили
Причины и способствующие факторы без поиска виноватых
Что изменили по итогам: конкретные действия
Чему научились лично
Что могут спросить следом
- Что бы вы сделали иначе?
- Как вы обнаружили проблему: алертом или от пользователей?
Разбор
Образцовый ответ (по STAR): «Ситуация: в пятницу вечером после миграции базы оплата в мобильном приложении падала у 30% пользователей 47 минут. Я был дежурным и стал IC. Задача: восстановить оплату и не потерять платежи. Действия: по аннотациям связал рост ошибок с миграцией, увидел в логах блокировки на таблице платежей. Откатить миграцию было нельзя, поэтому остановил фоновый бэкфилл, который держал блокировки, и ошибки ушли. Платежи, упавшие за это время, проверили по журналу провайдера и довели вручную. Результат: восстановили за 47 минут, деньги никто не потерял. В постмортеме нашли три фактора: бэкфилл одной транзакцией, отсутствие lock_timeout, алерт только на 5xx, а мобильное приложение получало таймауты. Сделали линтер миграций и алерт по SLO с клиентской стороны. Лично я понял ценность раннбука на откат каждой миграции».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.