Выбор ответа Senior Распределения, MLE и MAP обновлено
MAP и регуляризация
Вопрос
Какую регуляризацию даёт MAP-оценка весов линейной модели с гауссовым априорным распределением N(0, τ²)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: L2 (ridge): -log приора пропорционален Σw². MAP максимизирует log L + log P(w).
Варианты ответа
- L1 (lasso): -log приора пропорционален Σ|w|
- Dropout с вероятностью, зависящей от τ²
- L2 (ridge): -log приора пропорционален Σw²правильный ответ
- Никакой: при гауссовом приоре MAP совпадает с MLE
Разбор
MAP максимизирует log L + log P(w). Для гауссова приора log P(w) = -Σw²/(2τ²) + const, это L2-штраф с λ = σ²/τ². Лапласов приор даёт L1, у него острый пик в нуле, отсюда разреженные решения.
- L1 соответствует лапласовому приору.
- Dropout можно трактовать как приближённый байесовский вывод, но не так.
- MAP совпадает с MLE только при равномерном (плоском) приоре.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.