Выбор ответа Senior Kafka обновлено
Увеличение числа партиций
Вопрос
Топик с ключом user_id перестал справляться, и число партиций увеличили с 12 до 24. Какая проблема может возникнуть?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Ключи переедут в другие партиции: новые события пользователя могут обогнать старые. Партиция = хеш(ключ) mod число партиций: при смене числа многие ключи переезжают.
Варианты ответа
- Все старые сообщения топика будут удалены при перераспределении партиций
- Ключи переедут в другие партиции: новые события пользователя могут обогнать старыеправильный ответ
- Kafka перестанет принимать сообщения с ключом, пока не завершится перебалансировка
- Ничего: Kafka сама перенесёт старые сообщения в новые партиции по хешу ключа
Разбор
Партиция = хеш(ключ) mod число партиций: при смене числа многие ключи переезжают. Старые события ключа остаются в прежней партиции, новые идут в новую, и консьюмеры могут обработать их не по порядку. Старые сообщения не удаляются и не переносятся. Поэтому число партиций закладывают с запасом, а при необходимости делают новый топик и переключение.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.