Карточка Junior Активации и функции потерь обновлено
Softmax
Вопрос
Что делает softmax?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Переводит вектор логитов в распределение вероятностей: pᵢ = exp(zᵢ) / Σexp(zⱼ). Все pᵢ 0, сумма 1, порядок сохраняется.
Ответ
Переводит вектор логитов в распределение вероятностей: pᵢ = exp(zᵢ) / Σexp(zⱼ). Все pᵢ > 0, сумма 1, порядок сохраняется. Инвариантен к сдвигу логитов, поэтому для устойчивости вычитают максимум.
Разбор
Переводит вектор логитов в распределение вероятностей: pᵢ = exp(zᵢ) / Σexp(zⱼ). Все pᵢ > 0, сумма 1, порядок сохраняется. Инвариантен к сдвигу логитов, поэтому для устойчивости вычитают максимум.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.