Выбор ответа Junior Активации и функции потерь спрашивают часто обновлено
Почему ReLU
Вопрос
Почему ReLU вытеснила сигмоиду в скрытых слоях глубоких сетей?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Не насыщается при положительных входах (градиент 1), дешёвая, разреженная, меньше затухание. У сигмоиды производная не больше 0.25 и почти ноль при больших x, градиент в глубокой сети затухает.
Варианты ответа
- Не насыщается при положительных входах (градиент 1), дешёвая, разреженная, меньше затуханиеправильный ответ
- ReLU гладкая везде, в отличие от сигмоиды, поэтому оптимизаторы второго порядка сходятся на ней быстрее
- ReLU выдаёт значения от 0 до 1, которые удобно трактовать как вероятности признаков
- ReLU симметрична относительно нуля, поэтому активации остаются центрированными по слоям
Разбор
У сигмоиды производная не больше 0.25 и почти ноль при больших |x|, градиент в глубокой сети затухает. У ReLU производная 1 для положительных входов. Минусы: «мёртвые» нейроны и излом в нуле.
- Гладкая как раз сигмоида, ReLU имеет излом.
- Вероятности дают сигмоида и softmax на выходе.
- ReLU несимметрична: отрицательные входы обнуляются.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.