Ответ вслух Middle Инциденты, on-call и постмортемы обновлено

Алерт в 3 ночи: сайт недоступен снаружи

Вопрос

Интервьюер: «Срабатывает внешняя проверка: сайт не открывается из трёх регионов. Внутренние метрики сервиса показывают, что всё в порядке, трафик просто упал до нуля. Что делаете?»

Попробуйте сами

Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.

Показать ответ и разбор

Коротко

Образцовый ответ: «Раз внутри всё зелёное, а трафик упал до нуля, запросы не доходят до приложения. Иду снаружи внутрь. dig по домену: имя резолвится. curl -v и openssl sclient: сертификат истёк в 03:00, продление certbot тихо падало две недели.

Что должно прозвучать в ответе

  • Падение трафика до нуля значит, что запросы не доходят: искать до приложения

  • Проверить DNS: резолвится ли имя, не истёк ли домен, не менялись ли записи

  • Проверить TLS: срок сертификата и цепочку

  • Проверить балансировщик, CDN, WAF, сетевые правила и облачный статус

  • Смягчить по найденной причине и сообщить статус

  • В постмортем: алерты на сертификат, домен и трафик ниже нормы

Что могут спросить следом

  • Почему внутренние алерты не сработали?
  • Как отличить проблему у вас от проблемы у провайдера пользователей?

Разбор

Образцовый ответ: «Раз внутри всё зелёное, а трафик упал до нуля, запросы не доходят до приложения. Иду снаружи внутрь. dig по домену: имя резолвится. curl -v и openssl s_client: сертификат истёк в 03:00, продление certbot тихо падало две недели. Это объясняет и тишину внутренних метрик. Выпускаю сертификат вручную или переключаю на запасной, перезагружаю балансировщик, проверяю из внешних точек. Сообщаю статус. Если бы сертификат был в порядке, дальше проверил бы балансировщик и CDN, правила WAF и статус облака. В постмортем: алерт на срок сертификата за 14 дней, алерт на ошибки продления и алерт «трафик ниже обычного для этого часа», который поймал бы падение и без внешних проверок».

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.