Выбор ответа Senior Нейрон и backprop обновлено
Теорема об универсальной аппроксимации
Вопрос
Что на самом деле утверждает теорема об универсальной аппроксимации?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Сеть с одним скрытым слоем нужной ширины приближает любую непрерывную функцию на компакте. Это теорема существования: о том, как найти такую сеть обучением и сколько нейронов нужно, она молчит.
Варианты ответа
- Любая достаточно глубокая сеть градиентным спуском найдёт глобальный минимум функции потерь
- Сеть с одним скрытым слоем нужной ширины приближает любую непрерывную функцию на компактеправильный ответ
- Сеть с одним скрытым слоем всегда лучше глубокой при одинаковом числе параметров
- Нейросеть достаточного размера может выучить любую функцию по конечной выборке без ошибки и на тестовых данных
Разбор
Это теорема существования: о том, как найти такую сеть обучением и сколько нейронов нужно, она молчит. Ширина может понадобиться экспоненциальная, а глубокие сети на практике выражают те же функции гораздо компактнее. Об обучаемости и обобщении теорема ничего не говорит.
- Гарантий оптимизации нет.
- Глубина обычно эффективнее ширины.
- Про обобщение на новые данные теорема молчит.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.