Выбор ответа Middle Активации и функции потерь обновлено
MSE для классификации
Вопрос
Почему MSE поверх сигмоиды плохо подходит для бинарной классификации?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Градиент содержит σ'(z), и на уверенных ошибках, где сигмоида насыщена, обучение стоит. dL/dz = 2(p - y)·σ(z)(1 - σ(z)).
Варианты ответа
- MSE нельзя посчитать для меток 0 и 1: квадрат разности с вероятностью не определён
- Градиент содержит σ'(z), и на уверенных ошибках, где сигмоида насыщена, обучение стоитправильный ответ
- MSE поверх сигмоиды даёт отрицательный loss, когда предсказание точнее метки
- MSE поверх сигмоиды не дифференцируема в точке 0.5, где меняется класс объекта
Разбор
dL/dz = 2(p - y)·σ(z)(1 - σ(z)). Если модель уверенно ошиблась (p ≈ 0 при y = 1), σ' ≈ 0 и градиент крошечный. У кросс-энтропии множитель σ' сокращается, и градиент равен p - y, он максимален именно на сильных ошибках. Плюс у логрегрессии с MSE функция потерь невыпукла.
- MSE посчитать можно.
- MSE неотрицательна.
- MSE гладкая.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.