Выбор ответа Middle Parquet и партиционирование обновлено
Выбор сжатия
Вопрос
Какое утверждение о сжатии в Parquet верно?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Сжатие идёт поверх кодирования (словарь, RLE, дельта); Zstd обычно сжимает лучше Snappy. Сначала колонка кодируется (словарь для низкой кардинальности и так далее), затем страницы сжимаются выбранным кодеком.
Варианты ответа
- Сжатие в Parquet отключить нельзя: без него не работает словарное кодирование колонок
- Сжатие идёт поверх кодирования (словарь, RLE, дельта); Zstd обычно сжимает лучше Snappyправильный ответ
- Gzip быстрее всех при чтении, поэтому его ставят по умолчанию для аналитических таблиц
- Сжатие применяется ко всему файлу целиком, поэтому нельзя прочитать одну колонку отдельно
Разбор
Сначала колонка кодируется (словарь для низкой кардинальности и так далее), затем страницы сжимаются выбранным кодеком. Snappy быстрый, Zstd даёт лучшее сжатие при хорошей скорости, Gzip сжимает сильно, но медленнее. Сжатие настраивается, включая отключение. Сжимаются страницы колонок отдельно, поэтому читать одну колонку можно.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.