Выбор ответа Middle Хранилища: OLTP, OLAP, DWH, lakehouse спрашивают часто обновлено
Что добавляет табличный формат
Вопрос
Что дают табличные форматы вроде Apache Iceberg и Delta Lake поверх файлов Parquet в объектном хранилище?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: ACID-транзакции через снапшоты метаданных, UPDATE, DELETE и MERGE, эволюцию схемы, time travel. Табличный формат это слой метаданных: какие файлы составляют таблицу в каждой версии, схема, партиционирование.
Варианты ответа
- Собственный движок выполнения SQL, который полностью заменяет Spark и Trino при работе с таблицей
- Хранение горячих данных таблицы в оперативной памяти кластера для ускорения запросов
- Новый способ сжатия Parquet с общими словарями для всех файлов, в разы лучше обычного
- ACID-транзакции через снапшоты метаданных, UPDATE, DELETE и MERGE, эволюцию схемы, time travelправильный ответ
Разбор
Табличный формат это слой метаданных: какие файлы составляют таблицу в каждой версии, схема, партиционирование. Запись создаёт новый снапшот атомарно, поэтому читатели не видят половину записи. Выполнять запросы продолжают движки (Spark, Trino, Flink и другие), формат не движок. Данные остаются в файлах на объектном хранилище. Сжатие обеспечивает сам Parquet.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.