Промпт как код
Вопрос
Как у вас в команде должен быть устроен жизненный цикл промпта, от идеи до прода?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Промпт как шаблон в репозитории, ревью изменений
Регрессионный набор примеров с ожидаемыми ответами или критериями
Офлайн-оценка новой версии против текущей перед выкаткой
Версия промпта и модели в логах каждого вызова
Постепенная выкатка или A/B и онлайн-метрики
Откат на прошлую версию одной настройкой
Что могут спросить следом
- Кто должен иметь право менять промпт?
- Как собрать регрессионный набор, если размеченных данных нет?
Разбор
Образцовый ответ: «Промпт живёт в репозитории как шаблон с переменными, изменения идут через ревью, как код. Под каждый промпт есть набор из нескольких десятков или сотен примеров: реальные запросы из логов, обезличенные, плюс сложные и краевые случаи, для каждого либо эталон, либо критерии. Новая версия прогоняется офлайн и сравнивается с текущей по метрикам, включая регрессии на отдельных примерах, а не только средние. В лог каждого вызова пишем версию промпта и модели, чтобы любую жалобу привязать к версии. Выкатываем на часть трафика, смотрим онлайн-сигналы: оценки пользователей, долю ошибок парсинга, задержку и стоимость. Откат на прошлую версию должен быть одной настройкой без деплоя. Набор пополняется каждым найденным в проде провалом».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.