SGD, momentum и Adam

Обычный SGD делает шаг против градиента мини-батча с одним learning rate для всех параметров. Он прост, экономен по памяти, но медленно идёт по плохо обусловленным «оврагам» и чувствителен к lr. Momentum накапливает экспоненциальное среднее градиентов: вдоль стабильного направления разгоняется, поперёк колебания гасятся. Adam добавляет к этому адаптивную нормировку: делит шаг каждого параметра на корень из скользящего среднего его квадратов градиента, плюс поправку смещения в начале. Он быстро сходится без тонкой настройки и хорошо работает с разреженными градиентами, но хранит два дополнительных тензора на параметр, то есть оптимизатор весит вдвое больше модели. По умолчанию беру AdamW с warmup и косинусным затуханием, особенно для трансформеров. Для свёрточных сетей в CV с BatchNorm SGD с momentum и хорошим расписанием часто даёт такое же или лучшее качество на тесте.