Выбор ответа Junior Spark спрашивают часто обновлено
Какое преобразование вызывает shuffle
Вопрос
Какое из преобразований DataFrame вызывает shuffle?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: groupBy("userid").agg(...). Для агрегации по ключу все строки одного ключа нужно собрать в одной партиции, поэтому данные перемешиваются по сети.
Варианты ответа
filter(col("amount") > 0)groupBy("user_id").agg(...)правильный ответwithColumn("x2", col("x") * 2)select("user_id", "amount")
Разбор
Для агрегации по ключу все строки одного ключа нужно собрать в одной партиции, поэтому данные перемешиваются по сети. Фильтр, вычисляемая колонка и отбор колонок узкие: каждая партиция обрабатывается независимо.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.