Выбор ответа Junior Регуляризация обновлено
Weight decay
Вопрос
Что делает weight decay?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: На каждом шаге немного уменьшает веса к нулю, ограничивая их норму. w ← w - η(g + λw) в SGD эквивалентно L2-регуляризации.
Варианты ответа
- Уменьшает learning rate со временем, чтобы веса меньше менялись к концу обучения
- Удаляет веса с маленьким значением, обнуляя их после каждой эпохи
- На каждом шаге немного уменьшает веса к нулю, ограничивая их нормуправильный ответ
- Замораживает часть слоёв, веса которых перестали заметно меняться
Разбор
w ← w - η(g + λw) в SGD эквивалентно L2-регуляризации. В AdamW затухание отделено от адаптивного шага. Типичные значения для AdamW от 0.01 до 0.1.
- Убывание lr это расписание.
- Удаление весов это прунинг.
- Заморозка слоёв это fine-tuning.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.