Выбор ответа Middle Батч и стриминг спрашивают часто обновлено

Что такое watermark

Вопрос

Что означает watermark в потоковой обработке?

Попробуйте сами

Выберите вариант, и откроется разбор.

Показать ответ и разбор

Коротко

Правильный ответ: Оценку момента по event time, раньше которого события больше не ожидаются; по ней закрываются окна. Watermark двигается вместе с потоком, обычно как максимальное увиденное event time минус допустимую задержку.

Варианты ответа

  1. Оценку момента по event time, раньше которого события больше не ожидаются; по ней закрываются окнаправильный ответ
  2. Отметку, сколько сообщений консьюмер прочитал из каждой партиции Kafka, по ней закрываются окна
  3. Метку версии схемы события, по которой обработчик понимает, как разобрать старые записи
  4. Время последнего успешного чекпоинта, до которого состояние можно восстановить после сбоя

Разбор

Watermark двигается вместе с потоком, обычно как максимальное увиденное event time минус допустимую задержку. Когда он переходит конец окна, окно можно закрыть и выдать результат. Прочитанные сообщения это оффсет. Версия схемы живёт в реестре схем. Чекпоинт это снимок состояния для восстановления.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.