SQL Middle CDC и инкрементальная загрузка обновлено
Найти удалённые в источнике строки сверкой ключей
Условие
Инкремент по updated_at не видит удалений, поэтому раз в сутки делается сверка: в src_keys полный список ключей товаров из источника, в dwh_products копия в хранилище с флагом is_deleted. Пометьте удалёнными (is_deleted = true) строки, которых больше нет в источнике, и снимите пометку с тех, что снова появились. Затем выведите product_id, is_deleted по возрастанию product_id. Порядок строк важен.
Решите в тренажёре
Редактор с автотестами прямо в браузере. Можно решить спокойно, вслух или под таймером, как на собесе.
Предыдущий вопрос
Применить пачку CDC-событий к таблице
Следующий вопрос
Инкрементальная выгрузка с перекрытием окна
Ещё по теме «CDC и инкрементальная загрузка»
- Удаления в аналитике
- Событие Debezium
- Transactional outbox
- Инкремент по водяному знаку
- Применить события Debezium к состоянию
- Поле op в событии Debezium
- Удаления при инкременте по updated_at
- Спроектируйте репликацию данных сервисов в хранилище через CDC