По порядку Middle Эмбеддинги и fine-tuning обновлено
Порядок дообучения предобученной модели
Вопрос
Расставьте шаги аккуратного дообучения предобученной модели на небольшом датасете.
Попробуйте сами
Расставьте шаги по порядку стрелками.
- 1Заменить голову под число классов задачи
- 2Подготовить данные с той же предобработкой и нормализацией, что при предобучении
- 3Разморозить верхние блоки с меньшим learning rate
- 4Следить за валидацией и остановиться по early stopping
- 5Оценить лучший чекпоинт на отложенном тесте
- 6Заморозить бэкбон и обучить голову
Показать ответ и разбор
Коротко
Сначала голова на стабильных признаках, затем осторожная разморозка: так случайная голова не разрушает предобученные веса большими градиентами в начале.
Правильный порядок
- 1Подготовить данные с той же предобработкой и нормализацией, что при предобучении
- 2Заменить голову под число классов задачи
- 3Заморозить бэкбон и обучить голову
- 4Разморозить верхние блоки с меньшим learning rate
- 5Следить за валидацией и остановиться по early stopping
- 6Оценить лучший чекпоинт на отложенном тесте
Разбор
Сначала голова на стабильных признаках, затем осторожная разморозка: так случайная голова не разрушает предобученные веса большими градиентами в начале.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.