Сопоставление Middle Spark обновлено
Операции Spark и их цена
Вопрос
Сопоставьте операцию и то, что она делает с данными.
Попробуйте сами
Нажмите слева, потом подходящее справа.
Показать ответ и разбор
Коротко
Понимание цены операций главный навык в Spark: узкие дешёвы, shuffle дорог, broadcast выгоден для маленьких таблиц, coalesce дешевле repartition, а collect опасен на больших данных.
Правильные пары
filterУзкое преобразование без обмена данными
groupBy и aggShuffle по ключу группировки
broadcast joinКопирование маленькой таблицы на все executors
coalesceСклеивание соседних партиций без shuffle
collectПередача всех данных на driver
Разбор
Понимание цены операций главный навык в Spark: узкие дешёвы, shuffle дорог, broadcast выгоден для маленьких таблиц, coalesce дешевле repartition, а collect опасен на больших данных.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.