Дежурные выгорают от алертов
Вопрос
Интервьюер: «Дежурные получают по 200 уведомлений за неделю, двое уже ушли. Вы новый SRE-лид. Что делаете?»
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Данные: статистика по алертам за месяц, какие шумят, на какие было действие
Быстрые победы: удалить или перевести в тикеты неактивируемые, группировка и подавление
Переход на алерты по SLO и burn rate вместо порогов по причинам
Правила: у каждого алерта владелец, раннбук, ревью новых алертов
Регулярный разбор на передаче смены, метрика «алертов на смену»
Дежурство как процесс: ротация, компенсация, нагрузка не больше двух инцидентов за смену
Что могут спросить следом
- Как убедить команды удалять «свои» алерты?
- Как понять, что не удалили нужное?
Разбор
Образцовый ответ: «Сначала цифры: выгружаю историю алертов за месяц и размечаю с дежурными, на какие было действие. Обычно 10-15 правил дают 80% шума. Первую неделю чищу: неактивируемые удаляю или перевожу в тикеты и дашборды, мигающим добавляю for, настраиваю группировку и подавление по кластерам. Дальше меняю модель: page только по симптомам через burn rate SLO, причины на дашборды. Ввожу правила: новый page-алерт только с раннбуком, владельцем и ревью, а на передаче смены разбираем каждое срабатывание. Слежу за метрикой «страниц за смену» с целью не больше двух инцидентов за 12 часов. Чтобы не удалить нужное, смотрю, ловят ли новые алерты прошлые реальные инциденты, это можно проверить на истории метрик».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.