Градиент простыми словами
Вопрос
Объясните интервьюеру без формул, что такое градиент и почему обучение модели идёт против градиента функции потерь.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Градиент это вектор частных производных по каждому параметру
Показывает направление наискорейшего роста и его крутизну
Против градиента loss убывает быстрее всего локально
Шаг ограничивают learning rate, потому что градиент верен только около точки
В минимуме градиент нулевой, но нулевой градиент бывает и в седле
Что могут спросить следом
- Что будет, если learning rate слишком большой?
- Как градиент считается для миллиарда параметров?
Разбор
Представим функцию потерь как рельеф, где координаты это параметры модели, а высота это ошибка. Градиент это вектор из частных производных: для каждого параметра он говорит, насколько вырастет ошибка, если чуть-чуть его увеличить. Вместе эти числа указывают направление, в котором ошибка растёт быстрее всего, а длина вектора показывает крутизну склона. Нам нужно уменьшить ошибку, поэтому делаем шаг в противоположную сторону: w ← w - η·∇L. Градиент верен только локально, как наклон касательной, поэтому шаг делают маленьким, его размер задаёт learning rate. В точке минимума склон плоский, градиент нулевой, но это же верно и для седловых точек, поэтому одного нулевого градиента для вывода о минимуме мало. Для огромных моделей градиент по всем параметрам сразу считают обратным распространением ошибки за время порядка одного прямого прохода.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.