Выбор ответа Middle Производные и градиент обновлено
Размер якобиана
Вопрос
Функция f переводит вектор из Rⁿ в Rᵐ. Какой размер у её якобиана?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: m×n: строка на каждый выход, столбец на каждый вход. J[i][j] = ∂fᵢ/∂xⱼ, i по выходам (m), j по входам (n).
Варианты ответа
- m×n: строка на каждый выход, столбец на каждый входправильный ответ
- n×m: строка на каждую входную координату, столбец на выход
- n×n, как у гессиана, независимо от размерности выхода
- 1×n при любом m: это просто градиент, усреднённый по выходам
Разбор
J[i][j] = ∂fᵢ/∂xⱼ, i по выходам (m), j по входам (n). Для скалярной функции (m = 1) якобиан это строка 1×n, то есть транспонированный градиент. В backprop умножаются именно якобианы, хотя явно их почти никогда не строят.
- n×m это транспонированный якобиан, он появляется при обратном проходе как Jᵀ·grad.
- Гессиан n×n это вторые производные скалярной функции.
- Градиент только частный случай m = 1.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.