Карточка Middle Инференс и генерация обновлено
Формула размера KV-кеша
Вопрос
Как оценить размер KV-кеша?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
2 (K и V) × число слоёв × число KV-голов × размер головы × длина последовательности × размер батча × байт на элемент. Пример: 32 слоя, 8 KV-голов по 128, fp16, 4096 токенов, 1 запрос: 2·32·8·128·4096·2 байта = 512 МБ.
Ответ
2 (K и V) × число слоёв × число KV-голов × размер головы × длина последовательности × размер батча × байт на элемент. Пример: 32 слоя, 8 KV-голов по 128, fp16, 4096 токенов, 1 запрос: 2·32·8·128·4096·2 байта = 512 МБ.
Разбор
2 (K и V) × число слоёв × число KV-голов × размер головы × длина последовательности × размер батча × байт на элемент. Пример: 32 слоя, 8 KV-голов по 128, fp16, 4096 токенов, 1 запрос: 2·32·8·128·4096·2 байта = 512 МБ.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.