По порядку Junior ETL, ELT и Airflow обновлено
Шаги типичного ежедневного DAG
Вопрос
Расставьте задачи ежедневного DAG загрузки по порядку.
Попробуйте сами
Расставьте шаги по порядку стрелками.
- 1Сенсор ждёт готовности данных в источнике за интервал
- 2Уведомление потребителей о готовности
- 3Перестроение витрин за интервал
- 4Проверки качества: объём, ключи, NULL
- 5Выгрузка данных за интервал в сырой слой
- 6Загрузка в staging хранилища
Показать ответ и разбор
Коротко
Проверки стоят до витрин, чтобы плохие данные не дошли до отчётов. Все шаги работают с интервалом запуска, поэтому весь DAG можно перезапустить за любой день.
Правильный порядок
- 1Сенсор ждёт готовности данных в источнике за интервал
- 2Выгрузка данных за интервал в сырой слой
- 3Загрузка в staging хранилища
- 4Проверки качества: объём, ключи, NULL
- 5Перестроение витрин за интервал
- 6Уведомление потребителей о готовности
Разбор
Проверки стоят до витрин, чтобы плохие данные не дошли до отчётов. Все шаги работают с интервалом запуска, поэтому весь DAG можно перезапустить за любой день.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Почему нельзя брать вчера через now()
Следующий вопрос
Код-ревью: DAG ежедневной выгрузки заказов