Карточка Junior Инференс и генерация спрашивают часто обновлено
TTFT и TPOT
Вопрос
Что такое TTFT и TPOT?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
TTFT (time to first token): время от запроса до первого токена, зависит от очереди и prefill промпта. TPOT (time per output token): среднее время на каждый следующий токен, зависит от decode.
Ответ
TTFT (time to first token): время от запроса до первого токена, зависит от очереди и prefill промпта. TPOT (time per output token): среднее время на каждый следующий токен, зависит от decode. Общая задержка ≈ TTFT + TPOT × число выходных токенов.
Разбор
TTFT (time to first token): время от запроса до первого токена, зависит от очереди и prefill промпта. TPOT (time per output token): среднее время на каждый следующий токен, зависит от decode. Общая задержка ≈ TTFT + TPOT × число выходных токенов.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.