Выбор ответа Middle Производные и градиент спрашивают часто обновлено
Производная сигмоиды
Вопрос
Чему равна производная сигмоиды σ(x) = 1 / (1 + e⁻ˣ) и её максимальное значение?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: σ(x)(1 - σ(x)), максимум 0.25 при x = 0. σ'(x) = σ(x)(1 - σ(x)).
Варианты ответа
- σ(x)(1 - σ(x)), максимум 1 при x = 0
- e⁻ˣ, максимум 1 при x = 0, дальше убывает
- 1 - σ(x)², максимум 1 при x = 0
- σ(x)(1 - σ(x)), максимум 0.25 при x = 0правильный ответ
Разбор
σ'(x) = σ(x)(1 - σ(x)). В нуле σ = 0.5, и производная 0.5·0.5 = 0.25, это максимум. Поэтому в глубокой сети на сигмоидах градиент при обратном проходе умножается на числа ≤ 0.25 на каждом слое и затухает.
- 1 это максимум производной tanh, а не сигмоиды.
- e⁻ˣ это часть выражения до упрощения, и оно не ограничено.
- 1 - tanh² это производная tanh.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.