Выбор ответа Middle LLM в проде обновлено
Что логировать в LLM-сервисе
Вопрос
Что из перечисленного обязательно логировать для каждого вызова модели в проде?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Версии промпта и модели, токены, стоимость, задержку, статус и id трейса; промпты с маскированием ПДн. Без версий нельзя связать регресс с изменением, без токенов и стоимости нельзя управлять бюджетом, без трейсов нельзя разобрать жалобу.
Варианты ответа
- Только текст ответа и время вызова, остальное восстанавливается по логам провайдера
- Версии промпта и модели, токены, стоимость, задержку, статус и id трейса; промпты с маскированием ПДнправильный ответ
- Полные промпты с персональными данными без ограничений по сроку хранения, чтобы разбирать любые жалобы
- Ничего: провайдер ведёт свои логи и по запросу отдаёт их вместе с токенами и стоимостью
Разбор
Без версий нельзя связать регресс с изменением, без токенов и стоимости нельзя управлять бюджетом, без трейсов нельзя разобрать жалобу. Текста ответа мало. Хранить ПДн без маскирования и сроков рискованно и часто незаконно. Логи провайдера недоступны вам в нужном виде и не содержат вашего контекста.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.