Карточка Junior ИИ-фичи в продукте обновлено
Стриминг: что не забыть
Вопрос
Что нужно обработать, когда ответ модели отдаётся потоком через SSE?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Обрыв посреди ответа: показать, что ответ неполный. Отмену: клиент ушёл, значит, прервать запрос к провайдеру.
Ответ
Обрыв посреди ответа: показать, что ответ неполный. Отмену: клиент ушёл, значит, прервать запрос к провайдеру. Буферизацию в прокси и балансировщиках, которая ломает поток. Таймауты на первый токен и на весь ответ.
Разбор
Обрыв посреди ответа: показать, что ответ неполный. Отмену: клиент ушёл, значит, прервать запрос к провайдеру. Буферизацию в прокси и балансировщиках, которая ломает поток. Таймауты на первый токен и на весь ответ.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.