Constrained decoding
Вопрос
Как работает constrained decoding?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
На каждом шаге генерации маска запрещает токены, которые выведут результат за пределы грамматики или JSON-схемы: логиты таких токенов зануляются (ставятся в минус бесконечность). Ответ гарантированно соответствует формату. Смысл значений не проверяется, это делает валидация после.
Разбор
На каждом шаге генерации маска запрещает токены, которые выведут результат за пределы грамматики или JSON-схемы: логиты таких токенов зануляются (ставятся в минус бесконечность). Ответ гарантированно соответствует формату. Смысл значений не проверяется, это делает валидация после.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Ещё по теме «Промптинг и структурированный вывод»
- Zero-shot, few-shot, CoT
- Достать JSON из ответа модели
- Когда нужен chain-of-thought
- Зачем отделять данные от инструкций
- Few-shot: подвох в примерах
- Порядок полей в схеме ответа
- Роли сообщений: заполните пропуски
- JSON mode против structured outputs