Выбор ответа Middle Генеративные модели обновлено
Трюк репараметризации
Вопрос
Зачем в VAE сэмплируют z как μ + σ·ε, где ε ~ N(0, 1)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Случайность выносится в ε, и градиент проходит в μ и σ обычным backprop. Через операцию «взять сэмпл из N(μ, σ²)» градиент не течёт.
Варианты ответа
- Чтобы z был положительным и лежал в области определения декодера
- Чтобы ускорить сэмплирование: ε генерируется заранее для всего датасета
- Случайность выносится в ε, и градиент проходит в μ и σ обычным backpropправильный ответ
- Чтобы убрать KL-слагаемое из потерь, ведь ε и так распределён как N(0, 1)
Разбор
Через операцию «взять сэмпл из N(μ, σ²)» градиент не течёт. Записав сэмпл как детерминированную функцию параметров и независимого шума, получаем dz/dμ = 1 и dz/dσ = ε. Это основа обучения многих стохастических моделей.
- Знак z может быть любым.
- Скорость сэмплирования та же.
- KL остаётся в потерях.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.