Выбор ответа Middle Инференс и генерация обновлено
Continuous batching
Вопрос
Чем continuous batching лучше статического для LLM-сервера?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Запросы входят в батч и выходят из него на каждом шаге, GPU не ждёт самого длинного ответа. В статическом батче короткие ответы закончились, а слоты простаивают до конца самого длинного.
Варианты ответа
- Он гарантирует одинаковую задержку для всех запросов независимо от длины их ответов
- Запросы входят в батч и выходят из него на каждом шаге, GPU не ждёт самого длинного ответаправильный ответ
- Он позволяет не хранить KV-кеш, пересчитывая контекст каждого запроса на лету
- Он объединяет разные запросы пользователей в один общий промпт, чтобы сэкономить токены на префиксе
Разбор
В статическом батче короткие ответы закончились, а слоты простаивают до конца самого длинного. Continuous batching на каждой итерации добавляет новые запросы в освободившиеся места, поэтому пропускная способность выше в разы. Задержка при этом не одинакова и может расти с размером батча. KV-кеш по-прежнему нужен для каждого запроса. Промпты не склеиваются: каждая последовательность обрабатывается отдельно.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.