Выбор ответа Junior LLM в проде спрашивают часто обновлено
Что даёт стриминг
Вопрос
Что даёт стриминг ответа модели пользователю?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Снижает воспринимаемую задержку: текст появляется сразу, а время генерации почти то же. Пользователь начинает читать после TTFT, а не после всей генерации.
Варианты ответа
- Снижает воспринимаемую задержку: текст появляется сразу, а время генерации почти то жеправильный ответ
- Ускоряет генерацию в несколько раз, потому что токены не ждут формирования всего ответа
- Уменьшает стоимость запроса: провайдер не тарифицирует токены, отменённые клиентом
- Позволяет модели увидеть ответ целиком и исправить его перед отправкой каждого фрагмента
Разбор
Пользователь начинает читать после TTFT, а не после всей генерации. Сама генерация не ускоряется и не дешевеет. Модель и так генерирует последовательно, стриминг лишь отправляет токены по мере появления. Минус стриминга: модерацию и проверку ответа сложнее делать до показа.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.