Надёжный вызов LLM API
Вопрос
Минимальный набор для надёжного вызова LLM API с бэкенда.
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Таймаут на запрос. Повторы с экспоненциальной задержкой только на 429 и 5xx, ограниченное число раз. Фолбэк: другая модель, провайдер или честное сообщение. Лимит max_tokens. Лимиты и бюджет на пользователя. Метрики: токены, задержка, ошибки, стоимость.
Разбор
Таймаут на запрос. Повторы с экспоненциальной задержкой только на 429 и 5xx, ограниченное число раз. Фолбэк: другая модель, провайдер или честное сообщение. Лимит max_tokens. Лимиты и бюджет на пользователя. Метрики: токены, задержка, ошибки, стоимость.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.