Как профилировать Go-сервис

Question

Сервис стал отвечать медленнее, CPU вырос. Как вы будете искать причину с помощью инструментов Go?

Техпрогон · Accepted Answer

Сначала сужаю область по метрикам: какой эндпоинт, с какого релиза, что изменилось в задержках и RPS. Затем снимаю CPU-профиль на работающем инстансе, go tool pprof -http=:8080 http://host:6060/debug/pprof/profile?seconds=30, pprof доступен только на внутреннем порту. Метрики и трейсы: какой эндпоинт, с какого релиза. CPU-профиль под нагрузкой: /debug/pprof/profile?seconds=30. go tool pprof: top, list, флеймграф в -http. Проверить GC: heap allocspace, gctrace, доля CPU на GC. block и mutex профили при ожиданиях, goroutine при утечках, go tool trace для задержек. Бенчмарк проблемного участка, исправление, сравнение benchstat, PGO. Сначала сужаю область по метрикам: какой эндпоинт, с какого релиза, что изменилось в задержках и RPS. Затем снимаю CPU-профиль на работающем инстансе, go tool pprof -http=:8080 http://host:6060/debug/pprof/profile?seconds=30, pprof доступен только на внутреннем порту. Смотрю top по cum и флеймграф, list на подозрительную функцию. Если много времени в runtime.mallocgc и gcBgMarkWorker, проблема в аллокациях: heap-профиль allocspace покажет, кто выделяет. Если CPU не загружен, а запросы медленные, нужны block и mutex профили или go tool trace, где видно ожидание на блокировках и планировщике. Нашёл место: пишу бенчмарк, исправляю, сравниваю через benchstat. Ещё можно включить PGO: положить CPU-профиль из прода как default.pgo в пакет main, и компилятор (с Go 1.21) использует его для инлайнинга горячих путей, обычно это несколько процентов CPU.

Как профилировать Go-сервис

Вопрос

Попробуйте сами

Коротко

Что должно прозвучать в ответе

Что могут спросить следом

Разбор

Ещё по теме «Память, GC и pprof»