Выбор ответа Middle Свёрточные сети спрашивают часто обновлено
Главная идея ResNet
Вопрос
Что было ключевой идеей ResNet?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Residual-связи y = x + F(x), позволившие обучать сети в 100+ слоёв. До ResNet более глубокие простые сети учились хуже даже на трейне (проблема деградации).
Варианты ответа
- Свёртки 11×11 в первых слоях, позволившие видеть крупные объекты
- Отказ от нелинейностей, чтобы градиент проходил без затухания
- Residual-связи y = x + F(x), позволившие обучать сети в 100+ слоёвправильный ответ
- Обучение без обратного распространения, послойным жадным методом
Разбор
До ResNet более глубокие простые сети учились хуже даже на трейне (проблема деградации). Skip-соединения дают градиенту прямой путь и позволяют блоку учить поправку. ResNet-50 и сейчас популярный бейзлайн и бэкбон.
- Большие ядра были у AlexNet.
- Нелинейности сохранились.
- Обучение обычным backprop.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.