Карточка Middle Нейрон и backprop обновлено
Что хранит прямой проход
Вопрос
Почему обучение требует больше памяти, чем инференс?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Для backward нужны промежуточные активации прямого прохода (входы слоёв, маски dropout, статистики нормализации). На инференсе их сразу выбрасывают.
Ответ
Для backward нужны промежуточные активации прямого прохода (входы слоёв, маски dropout, статистики нормализации). На инференсе их сразу выбрасывают. Плюс градиенты по параметрам и состояния оптимизатора.
Разбор
Для backward нужны промежуточные активации прямого прохода (входы слоёв, маски dropout, статистики нормализации). На инференсе их сразу выбрасывают. Плюс градиенты по параметрам и состояния оптимизатора.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.