Выбор ответа Middle Инференс и генерация обновлено
Что ухудшает TTFT
Вопрос
Пользователи жалуются, что первый токен ответа приходит через 6 секунд, хотя дальше текст идёт быстро. Что наиболее вероятно?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Очень длинный промпт (большой RAG-контекст или история), долгий prefill или очередь на сервере. TTFT складывается из ожидания в очереди и prefill всего промпта.
Варианты ответа
- Слишком высокая температура: модель долго выбирает первый токен из широкого распределения
- Слишком маленький max_tokens: сервер заранее резервирует память под ответ
- Очень длинный промпт (большой RAG-контекст или история), долгий prefill или очередь на сервереправильный ответ
- Модель квантована в 4 бита, и деквантование всех весов перед первым токеном занимает несколько секунд
Разбор
TTFT складывается из ожидания в очереди и prefill всего промпта. Если генерация потом быстрая, decode в порядке, а проблема в объёме входа или в очереди. Лечат сокращением контекста, prefix caching для общего префикса, увеличением мощности. Температура на скорость не влияет. Маленький max_tokens ограничит длину, а не задержку первого токена. Квантование обычно ускоряет, а не замедляет.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.