Выбор ответа Middle Инференс и генерация спрашивают часто обновлено
Память под веса после квантования
Вопрос
Сколько примерно памяти займут веса модели на 8 млрд параметров в 4-битном квантовании?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Около 4 ГБ плюс накладные расходы на масштабы и неквантованные слои. 4 бита это полбайта на параметр: 8 млрд × 0,5 байта = 4 ГБ, на практике чуть больше из-за масштабов групп и слоёв, которые оставляют в 16 битах.
Варианты ответа
- Около 32 ГБ: квантуются только активации, веса остаются в 4 байтах
- Около 4 ГБ плюс накладные расходы на масштабы и неквантованные слоиправильный ответ
- Около 16 ГБ: 4 бита на параметр плюс столько же на масштабы групп
- Около 1 ГБ: 4 бита дают сжатие в 32 раза относительно fp32
Разбор
4 бита это полбайта на параметр: 8 млрд × 0,5 байта = 4 ГБ, на практике чуть больше из-за масштабов групп и слоёв, которые оставляют в 16 битах. 32 ГБ это fp32 (4 байта), 16 ГБ fp16 или bf16 (2 байта). 1 ГБ соответствовал бы одному биту на параметр: от fp32 4 бита это сжатие в 8 раз, а не в 32. Масштабы групп добавляют проценты, а не вдвое. KV-кеш считается отдельно сверху.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.