Выбор ответа Junior ИИ-фичи в продукте обновлено
Зачем таймаут на вызов модели
Вопрос
Почему вызов LLM API с бэкенда обязательно должен иметь таймаут?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Зависший запрос держит воркер и соединение, сервис деградирует. Внешний API может отвечать минутами или зависнуть.
Варианты ответа
- Без таймаута провайдер берёт двойную плату за долгие запросы к модели
- Таймаут нужен, только если ответ отдаётся пользователю потоком
- Таймаут улучшает качество ответа, потому что модель торопится
- Зависший запрос держит воркер и соединение, сервис деградируетправильный ответ
Разбор
Внешний API может отвечать минутами или зависнуть. Без таймаута запросы копятся, исчерпывают пул соединений и воркеров, и падает всё приложение. Тарификация от таймаута не зависит. Таймаут нужен при любом режиме, а на качество ответа он не влияет.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.