Выбор ответа Middle Промптинг и структурированный вывод обновлено
Версионирование промптов
Вопрос
Что из этого действительно нужно, чтобы управлять промптами в проде?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Хранить промпты как версионированные шаблоны, писать версию в лог вызова, гонять регрессию. Промпт влияет на поведение так же сильно, как код.
Варианты ответа
- Хранить промпт в переменной окружения, чтобы менять его без деплоя, а тесты запускать по жалобам
- Хранить промпты как версионированные шаблоны, писать версию в лог вызова, гонять регрессиюправильный ответ
- Писать промпт прямо в коде строками в разных местах, чтобы его было проще найти рядом с вызовом
- Генерировать промпт на лету другой моделью для каждого запроса под конкретного пользователя
Разбор
Промпт влияет на поведение так же сильно, как код. Версия в логах позволяет связать регресс с конкретным изменением, а тестовый набор ловит регресс до пользователей. Правка в переменной окружения без тестов это выкатка вслепую. Строки по всему коду не дают видеть промпт целиком. Генерация промпта другой моделью добавляет непредсказуемость.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.