Выбор ответа Senior Постановка задачи обновлено
Double descent
Вопрос
Почему огромные нейросети с числом параметров больше числа объектов часто обобщают хорошо, вопреки классической U-кривой?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Double descent: после порога интерполяции ошибка на тесте снова падает, SGD неявно выбирает «простые» решения. В режиме, где модель может идеально подогнать трейн, ошибка на тесте сначала пиком растёт (около порога интерполяции), а при дальнейшем росте модели снова падает.
Варианты ответа
- У нейросетей нет variance: веса после обучения почти не зависят от выборки и случайной инициализации
- Большие нейросети не могут запомнить обучающую выборку, поэтому вынужденно учат общие закономерности
- Это неправда: при параметрах больше числа объектов большие сети всегда переобучаются, если нет dropout
- Double descent: после порога интерполяции ошибка на тесте снова падает, SGD неявно выбирает «простые» решенияправильный ответ
Разбор
В режиме, где модель может идеально подогнать трейн, ошибка на тесте сначала пиком растёт (около порога интерполяции), а при дальнейшем росте модели снова падает. Объясняют это неявной регуляризацией: среди множества интерполирующих решений оптимизация находит гладкие. Классическая U-кривая остаётся верной для многих моделей и в недопараметризованном режиме.
- Variance у сетей есть, это видно по разбросу между запусками.
- Большие сети как раз могут запомнить даже случайные метки.
- Эмпирически большие сети с регуляризацией обобщают хорошо.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.