Выбор ответа Junior Нейрон и backprop спрашивают часто обновлено
Зачем нелинейность
Вопрос
Что будет, если в многослойной сети убрать все функции активации?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Сеть схлопнется в одно линейное преобразование: композиция линейных функций линейна. W₂(W₁x + b₁) + b₂ = Wx + b.
Варианты ответа
- Сеть станет обучаться быстрее и точнее, потому что исчезнет затухание градиента
- Сеть схлопнется в одно линейное преобразование: композиция линейных функций линейнаправильный ответ
- Сеть перестанет обучаться вообще: без активаций градиент по весам будет нулевым
- Ничего не изменится: глубина и число нейронов сами по себе дают нелинейность
Разбор
W₂(W₁x + b₁) + b₂ = Wx + b. Сто слоёв без активаций выражают ровно то же, что один. Нелинейность и позволяет сети аппроксимировать сложные функции.
- Скорость может вырасти, но выразительность упадёт до линейной модели.
- Градиент останется ненулевым, это просто линейная регрессия.
- Глубина без нелинейности ничего не даёт.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.