Выбор ответа Junior ML в проде обновлено
Батч или онлайн-инференс
Вопрос
Когда достаточно батчевого инференса (например раз в сутки), а когда нужен онлайн?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Батч, если прогноз не зависит от свежего контекста (рассылка); онлайн, если нужен ответ на действие. Батч проще и дешевле: посчитать прогнозы для всех пользователей ночью и положить в таблицу.
Варианты ответа
- Онлайн лучше и дешевле: нет ночных пересчётов, а модель считает прогноз только для активных
- Батч нужен только для нейросетей, которые не успевают ответить за миллисекунды; бустинги работают онлайн
- Батч, если прогноз не зависит от свежего контекста (рассылка); онлайн, если нужен ответ на действиеправильный ответ
- Выбор зависит только от размера модели: всё, что меньше 100 МБ, разворачивают в онлайн-сервисе
Разбор
Батч проще и дешевле: посчитать прогнозы для всех пользователей ночью и положить в таблицу. Онлайн нужен, когда решение принимается в момент события и зависит от свежих признаков (сумма текущего платежа, запрос). Часто гибрид: тяжёлые признаки считаются батчем, лёгкие в реальном времени.
- Онлайн дороже и сложнее.
- Тип модели не определяет режим.
- Размер модели влияет, но главный критерий это требования продукта к свежести.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.