Мелкие файлы
Вопрос
Почему мелкие файлы вредны и как с ними бороться?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Накладные расходы на каждый файл (запрос к хранилищу, футер, планирование задачи) больше полезного чтения, растут метаданные, хуже сжатие и статистики. Лечат компакцией, записью меньшим числом крупных файлов (repartition по партиции перед записью), более крупными партициями.
Разбор
Накладные расходы на каждый файл (запрос к хранилищу, футер, планирование задачи) больше полезного чтения, растут метаданные, хуже сжатие и статистики. Лечат компакцией, записью меньшим числом крупных файлов (repartition по партиции перед записью), более крупными партициями.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.