Выбор ответа Senior Инференс и генерация обновлено
GQA и размер KV-кеша
Вопрос
Модель перешла с обычного многоголового внимания (32 головы K и V) на GQA с 8 группами KV. Что изменится?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: KV-кеш станет в 4 раза меньше при том же числе голов query, качество почти то же. В GQA несколько голов query делят одну пару K и V.
Варианты ответа
- Модель станет в 4 раза быстрее на prefill, а размер KV-кеша не изменится
- Число параметров MLP уменьшится в 4 раза, потому что группы KV делят и веса полносвязных слоёв
- Контекстное окно автоматически увеличится в 4 раза без дообучения модели
- KV-кеш станет в 4 раза меньше при том же числе голов query, качество почти то жеправильный ответ
Разбор
В GQA несколько голов query делят одну пару K и V. Хранятся 8 наборов K и V вместо 32, поэтому кеш и чтение памяти на decode уменьшаются в 4 раза. Prefill ускоряется слабо, главный выигрыш на decode и в памяти. MLP не меняется. Окно задаётся обучением и позиционным кодированием, а не числом KV-голов, хотя освобождённая память позволяет держать больше контекста.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.