Выбор ответа Senior Attention и трансформеры обновлено
KV-кеш
Вопрос
Что такое KV-кеш при генерации текста и чем он платит?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: K и V прошлых токенов сохраняются, считаются Q, K, V только нового; платим памятью по длине. Без кеша генерация каждого токена заново прогоняла бы весь префикс.
Варианты ответа
- Кеш готовых ответов на популярные запросы; платим риском выдать устаревший ответ пользователю
- Кеш весов модели на быстром диске; платим временем загрузки при первом запросе
- K и V прошлых токенов сохраняются, считаются Q, K, V только нового; платим памятью по длинеправильный ответ
- Сжатие словаря токенов по частоте; платим качеством на редких словах
Разбор
Без кеша генерация каждого токена заново прогоняла бы весь префикс. С кешем шаг стоит O(n) вместо O(n²). Память кеша: 2·слои·длина·головы_KV·размер_головы·байты на элемент на каждую последовательность, для длинных контекстов это гигабайты. Отсюда multi-query и grouped-query attention (меньше голов K и V), квантование кеша, PagedAttention.
- Кеширование ответов это другая оптимизация.
- Веса тут ни при чём.
- Словарь не сжимается.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.