Выбор ответа Middle Цепное правило и autodiff спрашивают часто обновлено
Откуда затухание градиента
Вопрос
Почему в глубоких сетях на сигмоидах градиент у первых слоёв почти нулевой?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: По цепному правилу он равен произведению множителей, а σ' не больше 0.25. Градиент по весам слоя 1 проходит через все верхние слои, умножаясь на W и σ'.
Варианты ответа
- Learning rate у первых слоёв автоматически меньше, чем у последних
- По цепному правилу он равен произведению множителей, а σ' не больше 0.25правильный ответ
- У первых слоёв меньше параметров, и их суммарный градиент мал
- Сигмоида недифференцируема при больших входах, и градиент в этих точках обрывается
Разбор
Градиент по весам слоя 1 проходит через все верхние слои, умножаясь на W и σ'. При σ' ≤ 0.25 и умеренных весах произведение из 20 множителей убывает экспоненциально. Решения: ReLU-подобные активации, правильная инициализация, нормализация, residual-соединения.
- Learning rate обычно один на всю сеть.
- Число параметров на затухание не влияет.
- Сигмоида гладкая везде, просто при больших |x| её производная очень мала (насыщение).
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.