Карточка Senior Spark обновлено
Как лечить перекос
Вопрос
Перечислите способы борьбы с перекосом данных в Spark.
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
AQE skew join. Broadcast маленькой стороны.
Ответ
AQE skew join. Broadcast маленькой стороны. Соление ключа: суффикс 0..N-1 у большой стороны, размножение маленькой. Отдельная обработка горячих ключей (часто NULL). Двухэтапная агрегация: сначала по солёному ключу, затем по исходному.
Разбор
AQE skew join. Broadcast маленькой стороны. Соление ключа: суффикс 0..N-1 у большой стороны, размножение маленькой. Отдельная обработка горячих ключей (часто NULL). Двухэтапная агрегация: сначала по солёному ключу, затем по исходному.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.