Watermark
Вопрос
Как обычно считается watermark и что происходит с опоздавшими событиями?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
watermark = максимальное увиденное event time минус допустимая задержка. Окно закрывается, когда watermark проходит его конец. Событие для закрытого окна считается опоздавшим: его отбрасывают, отправляют в отдельный поток или обновляют результат окна.
Разбор
watermark = максимальное увиденное event time минус допустимая задержка. Окно закрывается, когда watermark проходит его конец. Событие для закрытого окна считается опоздавшим: его отбрасывают, отправляют в отдельный поток или обновляют результат окна.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Ещё по теме «Батч и стриминг»
- Сессии пользователя на Python
- Окна по минуте с watermark и опоздавшими событиями
- Спроектируйте потоковые признаки для антифрода
- Event time против processing time
- Как получить exactly-once на практике
- Lambda и Kappa
- Что делать с опоздавшими событиями
- Инструменты стриминга