Выбор ответа Middle Цепное правило и autodiff спрашивают часто обновлено
Градиент softmax с кросс-энтропией
Вопрос
Логиты z проходят softmax, получаются вероятности p, потеря L = -log p_y для правильного класса y (one-hot вектор t). Чему равен ∂L/∂z?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: p - t. Производная softmax с кросс-энтропией по логитам удивительно проста: вероятность каждого класса минус метка.
Варианты ответа
- t - p
- p·(1 - p)
- -1 / p_y
- p - tправильный ответ
Разбор
Производная softmax с кросс-энтропией по логитам удивительно проста: вероятность каждого класса минус метка. У правильного класса p_y - 1 (тянет логит вверх), у остальных p_k (тянут вниз). Поэтому их почти всегда считают одним слитым узлом: так и быстрее, и численно устойчивее.
- t - p это градиент со знаком минус, по нему шли бы вверх по loss.
- p(1 - p) это диагональ якобиана softmax, а не градиент всей связки.
- -1/p_y это производная по вероятности p_y, а не по логиту.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.