Выбор ответа Junior ИИ-фичи в продукте спрашивают часто обновлено

Какие ошибки повторять

Вопрос

Вызов LLM API вернул ошибку. Какие ответы разумно повторять с экспоненциальной задержкой?

Попробуйте сами

Выберите вариант, и откроется разбор.

Показать ответ и разбор

Коротко

Правильный ответ: 429 и 5xx: перегрузка и временный сбой проходят при повторе. 429 означает превышение лимита частоты, 5xx временную проблему у провайдера: повтор с backoff и ограниченным числом попыток уместен.

Варианты ответа

  1. 429 и 5xx: перегрузка и временный сбой проходят при повтореправильный ответ
  2. Только 400: модель могла неверно понять запрос с первой попытки
  3. Любые ошибки без ограничения, пока запрос в итоге не пройдёт
  4. 401 и 403: ключ мог временно перестать работать у провайдера

Разбор

429 означает превышение лимита частоты, 5xx временную проблему у провайдера: повтор с backoff и ограниченным числом попыток уместен. 400 это ошибка в самом запросе, повтор даст то же. 401 и 403 говорят о ключе или правах, их чинят, а не повторяют. Бесконечные повторы усиливают перегрузку и тратят деньги.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.