Выбор ответа Senior Оптимизаторы и обучение обновлено
Всплески loss
Вопрос
При долгом обучении большой модели loss периодически резко подскакивает, а затем возвращается. Что обычно делают?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Снижают lr, усиливают клиппинг, проверяют проблемные батчи, при сильном всплеске откат к чекпоинту. Всплески связывают с нестабильностью адаптивных оптимизаторов, плохими батчами (мусор, дубли, экстремально длинные тексты) и слишком большим lr.
Варианты ответа
- Увеличивают lr, чтобы быстрее проскочить нестабильную область и вернуться к прежнему loss
- Отключают нормализацию в слоях, где растут активации, чтобы градиенты не делились на малое
- Снижают lr, усиливают клиппинг, проверяют проблемные батчи, при сильном всплеске откат к чекпоинтуправильный ответ
- Ничего не делают: всплески безвредны, модель сама возвращается к прежнему уровню loss
Разбор
Всплески связывают с нестабильностью адаптивных оптимизаторов, плохими батчами (мусор, дубли, экстремально длинные тексты) и слишком большим lr. Практика: логировать нормы градиентов, держать частые чекпоинты, при расхождении откатываться и пропускать батчи, снижать lr и β₂, использовать z-loss или стабилизирующие нормализации.
- Увеличение lr усилит нестабильность.
- Нормализация как раз стабилизирует.
- Иногда модель после всплеска не восстанавливается.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.