По порядку Middle LLM в проде обновлено
Обработка ошибки вызова модели
Вопрос
Расставьте шаги обработки неудачного вызова модели по порядку.
Попробуйте сами
Расставьте шаги по порядку стрелками.
- 1Для постоянной ошибки сразу вернуть ошибку и записать в лог
- 2Проверить тип ошибки: временная (429, 5xx, таймаут) или постоянная (400, 401)
- 3Для временной подождать экспоненциальную паузу с джиттером или Retry-After
- 4После исчерпания попыток переключиться на резервную модель
- 5Если резерв недоступен, вернуть деградированный ответ
- 6Повторить запрос, пока не исчерпан лимит попыток
Показать ответ и разбор
Коротко
Классификация ошибки определяет всё остальное: повторять ошибку в запросе бессмысленно. Временные ошибки повторяются ограниченно и с паузами, затем фолбэк и деградация.
Правильный порядок
- 1Проверить тип ошибки: временная (429, 5xx, таймаут) или постоянная (400, 401)
- 2Для постоянной ошибки сразу вернуть ошибку и записать в лог
- 3Для временной подождать экспоненциальную паузу с джиттером или Retry-After
- 4Повторить запрос, пока не исчерпан лимит попыток
- 5После исчерпания попыток переключиться на резервную модель
- 6Если резерв недоступен, вернуть деградированный ответ
Разбор
Классификация ошибки определяет всё остальное: повторять ошибку в запросе бессмысленно. Временные ошибки повторяются ограниченно и с паузами, затем фолбэк и деградация.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.