Сопоставление Middle Инициализация и нормализация обновлено
Нормализация и где она живёт
Вопрос
Сопоставьте приём и типичное место применения.
Попробуйте сами
Нажмите слева, потом подходящее справа.
Показать ответ и разбор
Коротко
Выбор нормализации определяется тем, на что можно опереться: батч достаточно большой (BatchNorm), нужен независимый от батча вариант (LayerNorm, GroupNorm), важна дешевизна на огромном масштабе (RMSNorm).
Правильные пары
BatchNormСвёрточные сети с нормальным размером батча
LayerNormТрансформеры и рекуррентные сети
RMSNormСовременные большие языковые модели
GroupNormДетекция и сегментация с крошечным батчем
Инициализация HeГлубокие сети с ReLU
Разбор
Выбор нормализации определяется тем, на что можно опереться: батч достаточно большой (BatchNorm), нужен независимый от батча вариант (LayerNorm, GroupNorm), важна дешевизна на огромном масштабе (RMSNorm).
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.