Карточка Senior Attention и трансформеры обновлено
MQA и GQA
Вопрос
Что такое multi-query и grouped-query attention?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
MQA: все головы запросов делят одну пару голов K и V. GQA: головы запросов разбиты на группы, у каждой группы свои K и V.
Ответ
MQA: все головы запросов делят одну пару голов K и V. GQA: головы запросов разбиты на группы, у каждой группы свои K и V. Это уменьшает KV-кеш и ускоряет генерацию почти без потери качества. GQA используется во многих современных LLM.
Разбор
MQA: все головы запросов делят одну пару голов K и V. GQA: головы запросов разбиты на группы, у каждой группы свои K и V. Это уменьшает KV-кеш и ускоряет генерацию почти без потери качества. GQA используется во многих современных LLM.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.