Speculative decoding
Вопрос
Как работает speculative decoding?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Маленькая быстрая модель предлагает несколько следующих токенов, большая за один проход проверяет их все и принимает префикс, совместимый со своим распределением (с корректной процедурой отклонения результат совпадает по распределению с генерацией большой моделью). Ускорение в 2-3 раза при хорошем совпадении моделей.
Разбор
Маленькая быстрая модель предлагает несколько следующих токенов, большая за один проход проверяет их все и принимает префикс, совместимый со своим распределением (с корректной процедурой отклонения результат совпадает по распределению с генерацией большой моделью). Ускорение в 2-3 раза при хорошем совпадении моделей.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.