Выбор ответа Middle Батч и стриминг обновлено
Микробатчи
Вопрос
Дашборду операционной команды достаточно свежести 5 минут. Команда без опыта стриминга. Что разумно предложить?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Микробатчи каждые 1-5 минут (Spark Structured Streaming или частые батч-задачи). Требование к свежести определяет архитектуру.
Варианты ответа
- Flink с задержкой в миллисекунды и exactly-once, чтобы сразу заложить запас по свежести
- Микробатчи каждые 1-5 минут (Spark Structured Streaming или частые батч-задачи)правильный ответ
- Ежедневный батч ночью, а в течение дня показывать на дашборде вчерашние данные
- Писать события из сервисов сразу в дашборд по WebSocket, минуя хранилище
Разбор
Требование к свежести определяет архитектуру. 5 минут покрываются микробатчами, которые проще писать и эксплуатировать. Миллисекундная задержка тут не нужна и дорога в поддержке. Ежедневный батч не выполнит требование. Запись прямо в дашборд лишает возможности пересчёта и истории.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.