Выбор ответа Middle ИИ-фичи в продукте обновлено
Пользователь закрыл вкладку
Вопрос
Ответ стримится пользователю, и тот закрыл вкладку. Что должен сделать бэкенд?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Заметить разрыв соединения и прервать запрос к провайдеру. Если не прервать запрос к провайдеру, генерация продолжится и вы заплатите за ненужные токены.
Варианты ответа
- Дождаться конца генерации и сохранить ответ в кеш на будущее
- Ничего: провайдер сам узнает, что клиент ушёл, и прервёт поток
- Повторить запрос к провайдеру, когда пользователь снова зайдёт
- Заметить разрыв соединения и прервать запрос к провайдеруправильный ответ
Разбор
Если не прервать запрос к провайдеру, генерация продолжится и вы заплатите за ненужные токены. Провайдер видит только соединение с вашим бэкендом, а оно живо. Кешировать ответ на брошенный запрос обычно бессмысленно, а повтор при следующем заходе снова тратит деньги.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.