Выбор ответа Middle Инициализация и нормализация спрашивают часто обновлено
Зачем residual-связи
Вопрос
Почему residual-связи (y = x + F(x)) позволили обучать сети глубиной в сотни слоёв?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Градиент идёт по тождественной ветке без затухания, а блок учит поправку. dy/dx = I + dF/dx: даже если градиент через F мал, тождественная часть передаёт его дальше.
Варианты ответа
- Они уменьшают число параметров, поэтому глубокие сети меньше переобучаются
- Градиент идёт по тождественной ветке без затухания, а блок учит поправкуправильный ответ
- Они заменяют функции активации, поэтому градиент не насыщается
- Они делают сеть линейной, а линейные сети обучаются любой глубины
Разбор
dy/dx = I + dF/dx: даже если градиент через F мал, тождественная часть передаёт его дальше. Кроме того, блоку проще выучить F ≈ 0, чем тождественное отображение заново. ResNet показал, что без residual глубокие простые сети учатся хуже даже на трейне.
- Параметров столько же.
- Активации внутри F остаются.
- Нелинейность сохраняется в F.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.