Dropout
Вопрос
Почему dropout работает как регуляризация?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Нейроны не могут полагаться на конкретных соседей (коадаптацию), сеть учит избыточные устойчивые признаки. Можно смотреть на это как на обучение ансамбля подсетей с общими весами, а инференс без dropout как на приближённое усреднение ансамбля.
Разбор
Нейроны не могут полагаться на конкретных соседей (коадаптацию), сеть учит избыточные устойчивые признаки. Можно смотреть на это как на обучение ансамбля подсетей с общими весами, а инференс без dropout как на приближённое усреднение ансамбля.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.