Выбор ответа Junior Эмбеддинги и fine-tuning спрашивают часто обновлено
Зачем transfer learning
Вопрос
Почему почти всегда начинают с предобученной модели, а не обучают с нуля?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Предобученная модель уже выучила общие признаки, дообучению нужно на порядки меньше данных. Нижние слои CNN выучивают края и текстуры, языковые модели выучивают синтаксис и знания о мире.
Варианты ответа
- Предобученная модель уже выучила общие признаки, дообучению нужно на порядки меньше данныхправильный ответ
- Предобученные модели точнее на любой задаче даже без дообучения, поэтому его делают редко
- Обучение с нуля запрещено лицензиями большинства фреймворков для коммерческих задач
- Предобученная модель не может переобучиться, потому что её веса уже регуляризованы
Разбор
Нижние слои CNN выучивают края и текстуры, языковые модели выучивают синтаксис и знания о мире. Это переносится на новую задачу. С нуля учат, когда домен совсем другой, данных огромное количество или нужна особая архитектура.
- Без дообучения на специфической задаче качество бывает слабым.
- Лицензии бывают разные, но причина не в этом.
- Переобучиться при дообучении на малых данных вполне можно.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.