Как проверить, что градиент посчитан верно

Стандартный способ это gradient checking. Для каждого параметра (или случайной выборки параметров) считаю численную производную центральной разностью (L(w + h) - L(w - h)) / 2h и сравниваю с аналитической через относительную ошибку |a - n| / max(|a|, |n|, ε). Делаю это в float64 с h около 1e-5..1e-6: при меньшем h вычитание почти равных чисел даёт ошибку округления, при большем растёт ошибка самой формулы, она порядка h². Значение около 1e-7 и меньше считаю нормой, около 1e-3 и больше ищу баг. Проверяю на маленьких тензорах в нескольких случайных точках, выключаю dropout и другую случайность, держусь подальше от изломов вроде нуля у ReLU, где численная разность врёт. В PyTorch для этого есть готовый torch.autograd.gradcheck, который сравнивает аналитический якобиан с численным.