Multi-query и grouped-query attention: что это
Коротко
Multi-query и grouped-query attention: mQA: все головы запросов делят одну пару голов K и V. GQA: головы запросов разбиты на группы, у каждой группы свои K и V.
Определение
MQA: все головы запросов делят одну пару голов K и V. GQA: головы запросов разбиты на группы, у каждой группы свои K и V. Это уменьшает KV-кеш и ускоряет генерацию почти без потери качества. GQA используется во многих современных LLM.
Из урока «Attention и трансформеры за 8 минут»
Её уменьшают multi-query и grouped-query attention (меньше голов K и V), квантование кеша и PagedAttention.
Читать урок целикомВопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по Глубокое обучение проверят, что термин понятен в деле.