Выбор ответа Middle Оптимизаторы и обучение обновлено
Learning rate при fine-tuning
Вопрос
Дообучаете предобученный BERT на классификации. Какой порядок learning rate типичен для AdamW?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Около 1e-5..5e-5, на порядки меньше, чем с нуля, с коротким warmup. Предобученные веса уже хороши, большой шаг их разрушит (catastrophic forgetting).
Варианты ответа
- Около 1.0, потому что AdamW сам нормирует шаг по каждому параметру
- Около 0.1, как для SGD на CNN при обучении с нуля
- Нулевой для бэкбона, чтобы не испортить предобученные веса
- Около 1e-5..5e-5, на порядки меньше, чем с нуля, с коротким warmupправильный ответ
Разбор
Предобученные веса уже хороши, большой шаг их разрушит (catastrophic forgetting). Для полного fine-tuning энкодеров типичны 1e-5..5e-5 с warmup и линейным затуханием. Новой голове иногда дают lr побольше. Для LoRA lr обычно выше (около 1e-4..1e-3), потому что обучаются только маленькие адаптеры.
- 1.0 разнесёт модель.
- 0.1 типично для SGD с нуля, а не для Adam при дообучении.
- С нулевым lr ничего не выучится.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.