Устройство Parquet
Вопрос
Как устроен файл Parquet?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Row groups (горизонтальные куски строк) → column chunks (колонка внутри группы) → pages (единицы кодирования и сжатия). В конце footer: схема, расположение и статистики (min, max, число NULL) по колонкам каждой row group. Это даёт чтение только нужных колонок и пропуск групп по фильтру.
Разбор
Row groups (горизонтальные куски строк) → column chunks (колонка внутри группы) → pages (единицы кодирования и сжатия). В конце footer: схема, расположение и статистики (min, max, число NULL) по колонкам каждой row group. Это даёт чтение только нужных колонок и пропуск групп по фильтру.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.