Выбор ответа Middle Spark спрашивают часто обновлено
Почему shuffle дорог
Вопрос
Почему shuffle считается самой дорогой операцией Spark?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Данные сериализуются, пишутся на диск и идут по сети между узлами, а следующая стадия ждёт всех. Shuffle это граница стадий: каждая задача раскладывает свои строки по ключам в файлы, а задачи следующей стадии забирают их со всех узлов.
Варианты ответа
- Данные сериализуются, пишутся на диск и идут по сети между узлами, а следующая стадия ждёт всехправильный ответ
- Shuffle выполняется на driver: все данные стягиваются на один узел и там перераспределяются
- Во время shuffle Spark пересчитывает все предыдущие стадии дважды, чтобы проверить результат
- Shuffle требует перезапуска всех executors с новой конфигурацией памяти под следующую стадию
Разбор
Shuffle это граница стадий: каждая задача раскладывает свои строки по ключам в файлы, а задачи следующей стадии забирают их со всех узлов. Диск, сеть, сериализация и барьер синхронизации. Driver в передаче данных не участвует. Повторный пересчёт случается только при потере данных. Executors не перезапускаются.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.