Стабильное обучение большой модели

Базовый рецепт: AdamW с параметрами под масштаб модели, warmup и косинусное затухание, клиппинг градиентов по норме около 1, weight decay только на матрицы. Для памяти и скорости: bf16 mixed precision через autocast, gradient checkpointing для активаций, накопление градиентов до нужного эффективного батча, torch.compile и эффективные ядра attention. Распределение: DDP, если модель влезает в одну GPU (реплика на каждой, градиенты усредняются all-reduce), FSDP или ZeRO, если нет: веса, градиенты и состояние оптимизатора шардируются между GPU. Состояние Adam в fp32 это 8 байт на параметр, для 7 млрд около 56 ГБ, плюс fp32-копия весов, поэтому без шардирования не обойтись. Мониторю loss, нормы градиентов, lr, токены в секунду и утилизацию GPU, сохраняю чекпоинты часто. При всплеске loss откатываюсь к чекпоинту, пропускаю проблемные батчи, снижаю lr.