Как сделать задачу идемпотентной
Вопрос
Какие приёмы делают задачу загрузки идемпотентной?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Обрабатывать свой интервал данных из контекста запуска, а не от текущего времени. Перезаписывать партицию за интервал (DELETE и INSERT в транзакции, INSERT OVERWRITE, swap партиции) или делать upsert по ключу. Писать во временное место и атомарно подменять.
Разбор
Обрабатывать свой интервал данных из контекста запуска, а не от текущего времени. Перезаписывать партицию за интервал (DELETE и INSERT в транзакции, INSERT OVERWRITE, swap партиции) или делать upsert по ключу. Писать во временное место и атомарно подменять.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.