Карточка Middle Качество данных и контракты обновлено
Где ставить проверки
Вопрос
Где в пайплайне ставят проверки качества?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
На входе (staging): схема, объём, обязательные поля. После трансформаций: уникальность ключей, ссылочная целостность, бизнес-инварианты.
Ответ
На входе (staging): схема, объём, обязательные поля. После трансформаций: уникальность ключей, ссылочная целостность, бизнес-инварианты. Сверки с источником. Мониторинг по времени: свежесть, аномалии объёма и распределений.
Разбор
На входе (staging): схема, объём, обязательные поля. После трансформаций: уникальность ключей, ссылочная целостность, бизнес-инварианты. Сверки с источником. Мониторинг по времени: свежесть, аномалии объёма и распределений.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.