Выбор ответа Junior Квантование и дистилляция спрашивают часто обновлено
Память под веса 7B-модели
Вопрос
Сколько примерно памяти занимают только веса модели на 7 млрд параметров в bf16 и в 4-битном квантовании?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Около 14 ГБ и около 3.5 ГБ (плюс немного на масштабы групп). bf16 это 2 байта на параметр: 14 ГБ.
Варианты ответа
- Около 7 ГБ и около 1 ГБ: байт на параметр в bf16 и 1/8 байта в 4 битах
- Около 14 ГБ и около 3.5 ГБ (плюс немного на масштабы групп)правильный ответ
- Около 28 ГБ и около 14 ГБ: bf16 хранится в 4 байтах, 4 бита в двух
- Около 56 ГБ и около 7 ГБ с учётом копии весов для градиентов
Разбор
bf16 это 2 байта на параметр: 14 ГБ. 4 бита это полбайта: 3.5 ГБ, плюс масштабы и нулевые точки групп. Для инференса нужна ещё память под KV-кеш и активации.
- 7 ГБ соответствуют int8, а 4 бита это полбайта, а не 1/8.
- 28 ГБ это fp32.
- 56 ГБ это fp32 вдвое; градиенты при инференсе не хранятся.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.