Алерт в 3 ночи: резкий рост трафика
Вопрос
Интервьюер: «3 часа ночи, алерты по задержке и насыщению: трафик вырос вчетверо за 10 минут, автоскейлинг упёрся в максимум подов. Ваши действия?»
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Понять природу трафика: настоящие пользователи, бот, DDoS, повторы клиентов после сбоя
Защитить ядро: rate limiting, блокировка источника, отключение тяжёлых функций
Масштабировать, где можно: поднять лимит автоскейлинга, проверить базу и квоты
Следить за каскадом: пулы, очереди, повторы, таймауты
Сообщить статус и при необходимости эскалировать
Постмортем: лимиты, защита от ботов, backoff у клиентов
Что могут спросить следом
- Как отличить бота от настоящего всплеска?
- Почему повторные запросы клиентов могут усилить проблему?
Разбор
Образцовый ответ: «Сначала природа трафика: смотрю разбивку по эндпоинтам, клиентам, IP и user agent. Если это один маршрут с небольшого числа адресов, похоже на бота или парсер: режу лимитом на балансировщике или WAF. Если трафик идёт от наших мобильных клиентов на все эндпоинты сразу после короткого сбоя, это шторм повторов: клиенты ретраят без backoff. Тогда временно снижаю нагрузку: включаю ограничение по клиенту, выключаю второстепенные функции флагом, поднимаю лимит автоскейлинга, если база выдерживает. Слежу, чтобы не начался каскад: пул базы, очереди, доля таймаутов. Сообщаю статус. В постмортем: экспоненциальный backoff с джиттером в клиенте, лимиты по ключу клиента, алерт на аномальный рост трафика».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.