Выбор ответа Middle Инференс и генерация спрашивают часто обновлено
Зачем нужен KV-кеш
Вопрос
Что хранит KV-кеш и почему без него генерация медленнее?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Ключи и значения внимания уже обработанных токенов во всех слоях, чтобы не считать их заново. Новому токену во внимании нужны K и V всех предыдущих токенов.
Варианты ответа
- Готовые ответы на частые вопросы, чтобы не вызывать модель повторно на тот же промпт
- Ключи и значения внимания уже обработанных токенов во всех слоях, чтобы не считать их зановоправильный ответ
- Веса модели в быстрой памяти GPU, чтобы не читать их с диска на каждом шаге генерации
- Эмбеддинги документов для RAG, чтобы не пересчитывать их на каждый запрос
Разбор
Новому токену во внимании нужны K и V всех предыдущих токенов. Без кеша на шаге t их пришлось бы пересчитать для всей последовательности, и генерация стала бы квадратичной по числу шагов. Кеш ответов это семантический или точный кеш на уровне приложения. Веса и так лежат в памяти GPU, кешем они не называются. Эмбеддинги документов хранятся в векторном индексе.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Параметры генерации для извлечения данных
Следующий вопрос
Техники ускорения инференса