Пропуски Junior Квантование и дистилляция обновлено
Посчитайте память под веса
Вопрос
Модель на 3 млрд параметров. Веса в fp32 занимают (1) ГБ, в bf16 (2) ГБ, в int4 около (3) ГБ (считайте 1 ГБ = 10⁹ байт, без накладных расходов).
Попробуйте сами
Заполните пропуски по номерам.
1
2
3
Показать ответ и разбор
Коротко
3·10⁹ × 4 байта = 12 ГБ, × 2 = 6 ГБ, × 0.5 = 1.5 ГБ. Обучение с Adam в fp32 потребовало бы около 48 ГБ без активаций.
Что в пропусках
1
12
2
6
3
1.5 или 1,5
Разбор
3·10⁹ × 4 байта = 12 ГБ, × 2 = 6 ГБ, × 0.5 = 1.5 ГБ. Обучение с Adam в fp32 потребовало бы около 48 ГБ без активаций.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.