Обвязка надёжности
Вопрос
Что входит в обвязку надёжности вызовов LLM?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Таймауты (соединение, весь ответ, пауза в стриме). Ретраи только временных ошибок с экспонентой и джиттером, учёт Retry-After. Фолбэк на проверенную резервную модель. Circuit breaker. Свои лимиты, очереди и деградация. Идемпотентность действий.
Разбор
Таймауты (соединение, весь ответ, пауза в стриме). Ретраи только временных ошибок с экспонентой и джиттером, учёт Retry-After. Фолбэк на проверенную резервную модель. Circuit breaker. Свои лимиты, очереди и деградация. Идемпотентность действий.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.