Выбор ответа Middle Инференс и генерация спрашивают часто обновлено
Prefill и decode: что ограничивает
Вопрос
Какая пара утверждений о фазах генерации верна?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Prefill обрабатывает промпт параллельно и упирается в вычисления; decode в пропускную способность памяти. В prefill матрицы большие, GPU загружен арифметикой.
Варианты ответа
- Prefill обрабатывает промпт параллельно и упирается в вычисления; decode в пропускную способность памятиправильный ответ
- Prefill упирается в пропускную способность памяти, а decode в вычислительную мощность GPU
- Обе фазы одинаково ограничены сетью между клиентом и сервером, а не устройством GPU
- Prefill происходит только при первом запросе к модели после запуска сервера, дальше идёт только decode новых токенов
Разбор
В prefill матрицы большие, GPU загружен арифметикой. В decode на каждый токен нужно прочитать все веса и KV-кеш, а вычислений на байт мало, поэтому решает скорость памяти; именно поэтому батчинг и квантование весов так помогают decode. Сеть влияет на задержку, но не определяет фазы. Prefill выполняется для каждого запроса, кроме кешированного префикса.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.