Как вы обеспечиваете качество данных
Вопрос
Расскажите, как вы выстраиваете контроль качества данных в хранилище.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Измерения качества: полнота, уникальность, валидность, согласованность, свежесть
Проверки на входе, после трансформаций, сверки
Блокирующие против предупреждающих
Аномалии объёма с учётом сезонности
Владельцы алертов, контракты с источниками
Разбор инцидентов и новые проверки после них
Что могут спросить следом
- Какую проверку вы поставите первой на новую таблицу?
- Как не утонуть в алертах?
Разбор
Образцовый ответ: «Начинаю с самых важных витрин и источников. На входе после загрузки в staging проверяю схему, объём относительно похожих дней и заполненность обязательных полей. После трансформаций уникальность ключей, ссылочную целостность и бизнес-инварианты: суммы не отрицательные, доли от нуля до единицы. Для финансовых данных регулярная сверка с источником. Отдельно мониторинг свежести каждой ключевой таблицы. Блокирующими делаю только проверки, которые точно означают неверные данные: пустая выгрузка, дубли ключа. Остальные предупреждают, у каждого алерта владелец. С командами-источниками договариваюсь о контрактах, чтобы изменения схем проверялись в их CI. После каждого инцидента добавляю проверку, которая поймала бы его раньше».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Внедрение контрактов данных
Следующий вопрос
Отчёт по проверкам качества одной таблицы