Autocast
Вопрос
Что делает torch.autocast?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Внутри контекста выполняет операции в пониженной точности там, где это безопасно (матричные умножения, свёртки в fp16 или bf16), а чувствительные (редукции, softmax, loss) оставляет в fp32. Веса хранятся в fp32. Даёт ускорение на тензорных ядрах и экономию памяти на активациях.
Разбор
Внутри контекста выполняет операции в пониженной точности там, где это безопасно (матричные умножения, свёртки в fp16 или bf16), а чувствительные (редукции, softmax, loss) оставляет в fp32. Веса хранятся в fp32. Даёт ускорение на тензорных ядрах и экономию памяти на активациях.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.