Выбор ответа Middle Эмбеддинги и fine-tuning обновлено
Заморозка слоёв
Вопрос
Данных мало (несколько сотен примеров), домен похож на предобучение. Какая стратегия дообучения разумнее всего?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Заморозить бэкбон, обучить новую голову; затем разморозить верхние слои с малым lr. На малых данных полное дообучение с большим lr быстро разрушит предобученные признаки и переобучится.
Варианты ответа
- Разморозить всё и учить с lr 0.1, чтобы быстро адаптироваться к новой задаче
- Заморозить бэкбон, обучить новую голову; затем разморозить верхние слои с малым lrправильный ответ
- Заморозить голову и учить только нижние слои, которые отвечают за специфику домена
- Обучить модель с нуля с сильной аугментацией, чтобы не переносить чужие признаки
Разбор
На малых данных полное дообучение с большим lr быстро разрушит предобученные признаки и переобучится. Последовательно: голова на замороженных признаках, затем аккуратная разморозка верхних блоков, которые наиболее специфичны к задаче, с lr на порядок меньше и weight decay.
- lr 0.1 для дообучения слишком большой.
- Нижние слои самые универсальные, их меняют последними.
- С нуля на сотнях примеров не обучится.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.