Выбор ответа Senior Нейрон и backprop обновлено
Градиент по батчу
Вопрос
Loss по батчу считается как среднее по объектам. Батч увеличили вдвое, learning rate не трогали. Что произошло с величиной градиента?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: В среднем та же (среднее, не сумма), но шум оценки меньше. Среднее по батчу это несмещённая оценка полного градиента, её ожидание от размера батча не зависит.
Варианты ответа
- Удвоилась: вклад каждого объекта складывается
- Уменьшилась вдвое: среднее делится на больший размер
- В среднем та же (среднее, не сумма), но шум оценки меньшеправильный ответ
- Стала почти нулевой: градиенты разных объектов взаимно гасятся
Разбор
Среднее по батчу это несмещённая оценка полного градиента, её ожидание от размера батча не зависит. Дисперсия оценки падает примерно как 1/B. Если бы loss суммировали (reduction="sum"), градиент вырос бы вдвое и lr пришлось бы делить. Это частая ловушка при накоплении градиентов.
- Удвоение было бы при сумме.
- Уменьшения в ожидании нет.
- Нулевым градиент не становится.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.