Карточка Junior Spark спрашивают часто обновлено
Узкие и широкие преобразования
Вопрос
Чем узкие преобразования отличаются от широких?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Узкие: выходная партиция зависит от одной входной (filter, select, withColumn, map), без обмена данными. Широкие: нужны данные из многих партиций (groupBy, join, distinct, orderBy, repartition), требуют shuffle и создают новую стадию.
Ответ
Узкие: выходная партиция зависит от одной входной (filter, select, withColumn, map), без обмена данными. Широкие: нужны данные из многих партиций (groupBy, join, distinct, orderBy, repartition), требуют shuffle и создают новую стадию.
Разбор
Узкие: выходная партиция зависит от одной входной (filter, select, withColumn, map), без обмена данными. Широкие: нужны данные из многих партиций (groupBy, join, distinct, orderBy, repartition), требуют shuffle и создают новую стадию.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.