Инкремент по водяному знаку
Вопрос
Как сделать загрузку по updated_at надёжной?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Индекс по updated_at. Окно с перекрытием (брать от watermark минус запас) против потерь на границе и долгих транзакций. Upsert по ключу против дублей. Обработка удалений: мягкое удаление или сверка ключей. Обновление updated_at триггером в базе.
Разбор
Индекс по updated_at. Окно с перекрытием (брать от watermark минус запас) против потерь на границе и долгих транзакций. Upsert по ключу против дублей. Обработка удалений: мягкое удаление или сверка ключей. Обновление updated_at триггером в базе.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Ещё по теме «CDC и инкрементальная загрузка»
- Удаления в аналитике
- Событие Debezium
- Поле op в событии Debezium
- Удаления при инкременте по updated_at
- Спроектируйте репликацию данных сервисов в хранилище через CDC
- Полная или инкрементальная загрузка
- Преимущества log-based CDC
- Запуск CDC из PostgreSQL