Выбор ответа Senior Линейные модели обновлено
Мультиклассовая логистическая регрессия
Вопрос
Чем softmax-регрессия отличается от подхода one-vs-rest с K отдельными логистическими регрессиями?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Softmax обучает все классы совместно и даёт вероятности с суммой 1; OvR учит K независимых бинарных моделей. В softmax-регрессии логиты всех классов нормируются вместе, и модель учится на общей кросс-энтропии.
Варианты ответа
- Softmax обучает все классы совместно и даёт вероятности с суммой 1; OvR учит K независимых бинарных моделейправильный ответ
- Ничем: softmax-регрессия внутри и есть K логистических регрессий one-vs-rest с последующей нормировкой
- OvR даёт откалиброванные вероятности классов, а softmax выдаёт только метку класса через argmax по логитам
- Softmax работает только для двух классов, а для K классов его обобщение и называется one-vs-rest
Разбор
В softmax-регрессии логиты всех классов нормируются вместе, и модель учится на общей кросс-энтропии. В OvR каждый классификатор решает свою задачу «класс k против остальных», их оценки не обязаны суммироваться в 1 и могут быть плохо согласованы, зато модели независимы и их проще распараллелить. Для взаимоисключающих классов обычно предпочитают softmax.
- Модели разные по функции потерь и нормировке.
- Вероятности даёт как раз softmax.
- Для двух классов softmax сводится к обычной логистической регрессии, но работает и для K.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.