По порядку Junior Нейрон и backprop обновлено
Шаг обучения по порядку
Вопрос
Расставьте действия одного шага обучения нейросети в правильном порядке.
Попробуйте сами
Расставьте шаги по порядку стрелками.
- 1Прямой проход: вычислить выходы
- 2Обратный проход: посчитать градиенты
- 3Обнулить градиенты перед следующим шагом
- 4Взять мини-батч
- 5Шаг оптимизатора: обновить веса
- 6Посчитать функцию потерь
Показать ответ и разбор
Коротко
Это каркас любого цикла обучения. Обнуление можно делать и в начале шага, важно, чтобы оно было между двумя backward, иначе градиенты сложатся.
Правильный порядок
- 1Взять мини-батч
- 2Прямой проход: вычислить выходы
- 3Посчитать функцию потерь
- 4Обратный проход: посчитать градиенты
- 5Шаг оптимизатора: обновить веса
- 6Обнулить градиенты перед следующим шагом
Разбор
Это каркас любого цикла обучения. Обнуление можно делать и в начале шага, важно, чтобы оно было между двумя backward, иначе градиенты сложатся.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.