Выбор ответа Junior ETL, ELT и Airflow обновлено
Что передавать через XCom
Вопрос
Что уместно передать между задачами через XCom?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Путь к файлу в S3 или число загруженных строк. XCom хранится в метабазе Airflow и рассчитан на небольшие значения: идентификаторы, пути, счётчики.
Варианты ответа
- Путь к файлу в S3 или число загруженных строкправильный ответ
- DataFrame на 2 ГБ, сериализованный в pickle
- Пароль от базы для следующей задачи DAG
- Содержимое всей выгруженной таблицы в JSON-строке
Разбор
XCom хранится в метабазе Airflow и рассчитан на небольшие значения: идентификаторы, пути, счётчики. Большие данные передают через хранилище, а в XCom кладут ссылку. Пароли хранятся в Connections или в хранилище секретов, а не в XCom.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.