MLE против MAP
Вопрос
Сравните MLE и MAP. Когда разница существенна? Приведите пример из практики.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
MLE смотрит только на данные, MAP добавляет приор
MAP = MLE + регуляризация (гауссов приор ↔ L2, лапласов ↔ L1)
Разница велика при малых данных, исчезает при больших
Пример: CTR нового объявления с 1 кликом из 2 показов
Оба дают точечную оценку, в отличие от полного байесовского вывода
Что могут спросить следом
- Как выбрать параметры приора для CTR?
- Что даёт полное апостериорное распределение сверх MAP?
Разбор
MLE выбирает параметры, при которых данные наиболее вероятны, ничего не зная заранее. MAP максимизирует апостериорную вероятность, то есть добавляет к правдоподобию логарифм приора. На практике это и есть регуляризация: гауссов приор на веса превращается в L2, лапласов в L1. Разница важна, когда данных мало. Пример: новое объявление показали 2 раза и получили 1 клик. MLE скажет, что CTR 50%, хотя типичный CTR около 2%. С бета-приором, подобранным по историческим CTR, оценка останется около средних значений, пока не накопится статистика, и мы не будем отдавать трафик случайным везунчикам. Когда данных много, правдоподобие перевешивает приор, и оценки сходятся. Обе оценки точечные; полный байесовский подход хранит всё распределение и даёт неопределённость, например вероятность, что CTR выше 3%.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.