Карточка Junior Активации и функции потерь обновлено
tanh
Вопрос
Чем tanh отличается от сигмоиды?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
tanh(x) = 2σ(2x) - 1: значения от -1 до 1, центрирована в нуле, максимальная производная 1 (у сигмоиды 0.25). Тоже насыщается при больших x.
Ответ
tanh(x) = 2σ(2x) - 1: значения от -1 до 1, центрирована в нуле, максимальная производная 1 (у сигмоиды 0.25). Тоже насыщается при больших |x|. Используется в гейтах и состоянии LSTM.
Разбор
tanh(x) = 2σ(2x) - 1: значения от -1 до 1, центрирована в нуле, максимальная производная 1 (у сигмоиды 0.25). Тоже насыщается при больших |x|. Используется в гейтах и состоянии LSTM.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.