Выбор ответа Senior Инференс и генерация обновлено
Спекулятивное декодирование
Вопрос
Что верно о спекулятивном декодировании?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Черновая модель предлагает токены, большая проверяет их за проход; распределение сохраняется. Проверка нескольких токенов за один проход большой модели стоит примерно как генерация одного, потому что decode упирается в память.
Варианты ответа
- Большая модель генерирует черновик ответа, а маленькая его быстро сокращает и проверяет
- Ускорение достигается за счёт небольшого ухудшения качества, как при 4-битном квантовании
- Метод работает только при температуре выше 1, когда черновик часто совпадает с ответом
- Черновая модель предлагает токены, большая проверяет их за проход; распределение сохраняетсяправильный ответ
Разбор
Проверка нескольких токенов за один проход большой модели стоит примерно как генерация одного, потому что decode упирается в память. Схема принятия и отклонения сохраняет распределение большой модели, так что качество не падает. Выигрыш зависит от доли принятых токенов. Роли моделей наоборот: черновик пишет маленькая. Ограничений на температуру нет, при жадном декодировании метод тоже работает.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.