Gradient clipping
Вопрос
Что такое gradient clipping по норме?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Если общая L2-норма градиентов всех параметров больше порога c, все градиенты умножаются на c/норма. Направление сохраняется, величина ограничена. В PyTorch torch.nn.utils.clip_grad_norm_ после backward и до optimizer.step(). Обязателен для RNN и частый для трансформеров.
Разбор
Если общая L2-норма градиентов всех параметров больше порога c, все градиенты умножаются на c/норма. Направление сохраняется, величина ограничена. В PyTorch torch.nn.utils.clip_grad_norm_ после backward и до optimizer.step(). Обязателен для RNN и частый для трансформеров.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.