Карточка Junior Spark спрашивают часто обновлено
Driver, executor, task, stage
Вопрос
Что такое driver, executor, task и stage в Spark?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Driver: процесс программы, строит план и раздаёт задачи. Executor: процесс на узле, выполняет задачи и хранит кеш.
Ответ
Driver: процесс программы, строит план и раздаёт задачи. Executor: процесс на узле, выполняет задачи и хранит кеш. Task: обработка одной партиции на одном ядре. Stage: набор задач без shuffle внутри; стадии разделяются границами shuffle.
Разбор
Driver: процесс программы, строит план и раздаёт задачи. Executor: процесс на узле, выполняет задачи и хранит кеш. Task: обработка одной партиции на одном ядре. Stage: набор задач без shuffle внутри; стадии разделяются границами shuffle.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.