Выбор ответа Junior SGD, momentum и Adam спрашивают часто обновлено
Зачем мини-батчи
Вопрос
Почему нейросети учат на мини-батчах, а не градиентом по всему датасету?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Шаг дешёвый, градиент несмещённый, шум помогает, батч ложится на GPU. Градиент по случайному батчу это несмещённая оценка полного: в среднем он верный, но стоит в N/B раз дешевле.
Варианты ответа
- Градиент по мини-батчу точнее полного, потому что меньше округлений
- Шаг дешёвый, градиент несмещённый, шум помогает, батч ложится на GPUправильный ответ
- Полный градиент нельзя посчитать для нелинейной модели аналитически
- Мини-батчи убирают необходимость в подборе learning rate
Разбор
Градиент по случайному батчу это несмещённая оценка полного: в среднем он верный, но стоит в N/B раз дешевле. За то же время можно сделать много шагов. Шум помогает выходить из седел. Размер батча подбирают под память GPU.
- Он шумнее, а не точнее.
- Полный градиент посчитать можно, просто дорого.
- lr по-прежнему нужен.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.