Выбор ответа Junior ИИ-фичи в продукте спрашивают часто обновлено
Зачем стриминг
Вопрос
Зачем отдавать ответ модели пользователю потоком (например, через SSE)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Пользователь видит начало ответа сразу, а не ждёт всей генерации. Полный ответ генерируется секунды, а первые токены приходят быстро: стриминг улучшает воспринимаемую задержку.
Варианты ответа
- Потоковая генерация дешевле, провайдер берёт меньше за каждый токен
- Модель в потоковом режиме реже ошибается и меньше выдумывает разных фактов
- Пользователь видит начало ответа сразу, а не ждёт всей генерацииправильный ответ
- Стриминг убирает необходимость в таймаутах и обработке ошибок сети
Разбор
Полный ответ генерируется секунды, а первые токены приходят быстро: стриминг улучшает воспринимаемую задержку. Цена и качество от режима не зависят. Ошибок сети становится скорее больше: обрыв посреди потока надо обрабатывать отдельно.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.