Gradient clipping по норме: что это
Коротко
Gradient clipping по норме: если общая L2-норма градиентов всех параметров больше порога c, все градиенты умножаются на c/норма. Направление сохраняется, величина ограничена.
Определение
Если общая L2-норма градиентов всех параметров больше порога c, все градиенты умножаются на c/норма. Направление сохраняется, величина ограничена. В PyTorch torch.nn.utils.clip_grad_norm_ после backward и до optimizer.step(). Обязателен для RNN и частый для трансформеров.
Вопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по Глубокое обучение проверят, что термин понятен в деле.