Как начать хаос-инжиниринг
Вопрос
Интервьюер: «Руководство боится хаос-инжиниринга: “вы хотите ломать прод?”. Как вы внедрите его безопасно?»
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Цель: найти слабости до того, как их найдут пользователи
Начать с game day на стенде: ручные сценарии, тренировка раннбуков
Гипотезы в бизнес-метриках и критерии остановки
Постепенно: малый радиус, рабочее время, предупреждённые дежурные
Инструменты: Chaos Mesh, Litmus, Toxiproxy
Показать ценность: найденные проблемы и исправления
Что могут спросить следом
- Какой первый эксперимент вы бы провели?
- Как понять, что система готова к экспериментам в проде?
Разбор
Образцовый ответ: «Объясню, что мы не ломаем прод, а проверяем гипотезы, которые прод всё равно проверит сам в худший момент. Начинаю с game day на стенде: выключаем реплику базы, вносим задержку к Redis через Toxiproxy, команда отрабатывает раннбуки, а мы записываем, что пошло не так. Обычно уже первый game day находит пару вещей: таймауты по умолчанию 30 секунд, нет повторов, алерт не сработал. Каждый эксперимент с гипотезой в бизнес-метриках и критериями остановки. Когда стенд пройден и проблемы исправлены, перехожу в прод: в рабочее время, малый радиус, например один под или 1% трафика, дежурные предупреждены. Автоматизирую через Chaos Mesh в CI. Ценность показываю списком найденных и исправленных проблем, которые иначе стали бы инцидентами».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.