Карточка Senior Prometheus: сбор и хранение обновлено
Поиск взрыва кардинальности
Вопрос
Как найти, какая метрика раздувает Prometheus?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Страница Status, TSDB Status: топ метрик и меток по числу рядов. Метрика prometheustsdbheadseries и её рост во времени.
Ответ
Страница Status, TSDB Status: топ метрик и меток по числу рядов. Метрика prometheus_tsdb_head_series и её рост во времени. Запрос topk(10, count by (__name__) ({__name__=~".+"})) на небольших инсталляциях. Дальше count by (label) (метрика) для подозрительной метрики. Лечить в коде, временно через metric_relabel_configs с action: labeldrop или drop.
Разбор
Профилактика: лимиты sample_limit и label_limit в scrape-конфиге и ревью новых метрик.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.