Сопоставление Middle Инференс и генерация обновлено
Техники ускорения инференса
Вопрос
Сопоставьте технику и то, что она даёт.
Попробуйте сами
Нажмите слева, потом подходящее справа.
Показать ответ и разбор
Коротко
Все техники бьют в главное узкое место: decode ограничен памятью. Кеш экономит вычисления, батчинг и квантование увеличивают полезную работу на байт прочитанной памяти, paged-кеш позволяет держать больше запросов, спекулятивное декодирование выдаёт несколько токенов за проход большой модели.
Правильные пары
KV-кешНе пересчитывать K и V прошлых токенов на каждом шаге
Continuous batchingНовые запросы занимают освободившиеся места в батче на каждом шаге
PagedAttentionХранение KV-кеша страницами без фрагментации памяти
Квантование весовМеньше памяти и быстрее чтение весов на decode
Спекулятивное декодированиеЧерновая модель предлагает токены, большая проверяет пачкой
Разбор
Все техники бьют в главное узкое место: decode ограничен памятью. Кеш экономит вычисления, батчинг и квантование увеличивают полезную работу на байт прочитанной памяти, paged-кеш позволяет держать больше запросов, спекулятивное декодирование выдаёт несколько токенов за проход большой модели.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.