Пропуски Junior Оптимизаторы и обучение обновлено
Эффективный размер батча
Вопрос
Обучение на 4 GPU, на каждой микро-батч 8, накопление градиентов 16 шагов. Эффективный батч = (1). Датасет 1 024 000 примеров: шагов оптимизатора в эпохе (2). Warmup 2% от 10 эпох это (3) шагов.
Попробуйте сами
Заполните пропуски по номерам.
1
2
3
Показать ответ и разбор
Коротко
4·8·16 = 512. 1 024 000 / 512 = 2 000 шагов в эпохе, 10 эпох это 20 000 шагов, 2% от них 400.
Что в пропусках
1
512
2
2000 или 2 000
3
400
Разбор
4·8·16 = 512. 1 024 000 / 512 = 2 000 шагов в эпохе, 10 эпох это 20 000 шагов, 2% от них 400. Расписание считают в шагах оптимизатора, а не в микро-батчах.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.