TTFT и TPOT: что это
Коротко
TTFT и TPOT: tTFT (time to first token): время от запроса до первого токена, зависит от очереди и prefill промпта. TPOT (time per output token): среднее время на каждый следующий токен, зависит от decode.
Определение
TTFT (time to first token): время от запроса до первого токена, зависит от очереди и prefill промпта. TPOT (time per output token): среднее время на каждый следующий токен, зависит от decode. Общая задержка ≈ TTFT + TPOT × число выходных токенов.
Из урока «Инференс LLM: от логитов до батчинга»
Prefill и decode: что ограничивает каждую фазу, TTFT и TPOT.
Читать урок целикомВопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по LLM-инженерия проверят, что термин понятен в деле.