Выбор ответа Middle Квантование и дистилляция обновлено
bf16 против fp16
Вопрос
Чем bf16 отличается от fp16?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: У bf16 8 бит экспоненты (диапазон fp32) и 7 мантиссы; у fp16 5 и 10: bf16 реже переполняется. Оба по 16 бит. bf16 обрезает мантиссу fp32, сохраняя диапазон, поэтому обучение в нём обычно не требует масштабирования loss. fp16 точнее, но легко переполняется и теряет маленькие градиенты. - Оба формата по 2 байта. - Диапазон шире у…
Варианты ответа
- bf16 занимает 1 байт, а fp16 два, поэтому bf16 вдвое экономнее по памяти при обучении
- fp16 имеет больший диапазон, чем bf16, но меньшую точность мантиссы, поэтому реже переполняется
- У bf16 8 бит экспоненты (диапазон fp32) и 7 мантиссы; у fp16 5 и 10: bf16 реже переполняетсяправильный ответ
- Это одинаковые форматы IEEE, bf16 просто название fp16 в документации Google и TPU
Разбор
Оба по 16 бит. bf16 обрезает мантиссу fp32, сохраняя диапазон, поэтому обучение в нём обычно не требует масштабирования loss. fp16 точнее, но легко переполняется и теряет маленькие градиенты.
- Оба формата по 2 байта.
- Диапазон шире у bf16.
- Распределение бит разное.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.