Код Middle Инференс и генерация спрашивают часто обновлено
Размер KV-кеша в мегабайтах
Условие
Напишите kv_cache_mb(layers, kv_heads, head_dim, seq_len, batch, bytes_per_el): размер KV-кеша в мебибайтах (1 МиБ = 1024 × 1024 байт), округлённый до 1 знака. Помните, что хранятся и K, и V.
Примеры
kv_cache_mb(32, 8, 128, 4096, 1, 2) // 512
kv_cache_mb(32, 32, 128, 4096, 1, 2) // 2048
kv_cache_mb(32, 8, 128, 4096, 16, 2) // 8192
Решите в тренажёре
Редактор с автотестами прямо в браузере. Можно решить спокойно, вслух или под таймером, как на собесе.