Выбор ответа Junior Инициализация и нормализация обновлено
Инициализация He
Вопрос
Какую инициализацию обычно берут для слоёв с ReLU и почему?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: He (Kaiming): дисперсия весов 2/fanin, чтобы активации не затухали. ReLU обнуляет половину входов, поэтому дисперсию нужно удвоить по сравнению с линейным случаем: Var(w) = 2/fanin.
Варианты ответа
- He (Kaiming): дисперсия весов 2/fan_in, чтобы активации не затухалиправильный ответ
- Все веса равны 0.01, чтобы активации ReLU не обнулялись на старте
- Xavier с дисперсией 1/(fan_in·fan_out), рассчитанной на ReLU
- Равномерно от -1 до 1 независимо от размера слоя, как в LeNet
Разбор
ReLU обнуляет половину входов, поэтому дисперсию нужно удвоить по сравнению с линейным случаем: Var(w) = 2/fan_in. Тогда масштаб сигнала сохраняется через десятки слоёв. Xavier (Glorot) с Var = 2/(fan_in + fan_out) рассчитан на tanh и сигмоиду.
- Одинаковые веса не разрушают симметрию.
- У Xavier в знаменателе сумма, а не произведение.
- Без учёта fan_in сигнал взорвётся или затухнет в широких слоях.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.