Карточка Middle Инициализация и нормализация обновлено
Xavier и He
Вопрос
Чем отличаются инициализации Xavier и He?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Xavier (Glorot): Var(w) = 2/(fanin + fanout), для tanh и сигмоиды. He (Kaiming): Var(w) = 2/fanin, для ReLU, учитывает, что ReLU обнуляет половину сигнала.
Ответ
Xavier (Glorot): Var(w) = 2/(fan_in + fan_out), для tanh и сигмоиды. He (Kaiming): Var(w) = 2/fan_in, для ReLU, учитывает, что ReLU обнуляет половину сигнала. Обе сохраняют дисперсию активаций и градиентов от слоя к слою.
Разбор
Xavier (Glorot): Var(w) = 2/(fan_in + fan_out), для tanh и сигмоиды. He (Kaiming): Var(w) = 2/fan_in, для ReLU, учитывает, что ReLU обнуляет половину сигнала. Обе сохраняют дисперсию активаций и градиентов от слоя к слою.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.