Выбор ответа Junior SGD, momentum и Adam обновлено

Итерации в эпохе

Вопрос

В датасете 10 000 объектов, батч 100. Сколько шагов оптимизатора в одной эпохе?

Попробуйте сами

Выберите вариант, и откроется разбор.

Показать ответ и разбор

Коротко

Правильный ответ: 100. Эпоха это один проход по всем данным: 10 000 / 100 = 100 мини-батчей и 100 шагов. - 10 000 шагов было бы при батче 1 (чистый SGD). - 1 шаг это полный градиентный спуск, батч равен всему датасету. - 1 000 000 это произведение, а не частное.

Варианты ответа

  1. 100правильный ответ
  2. 10 000
  3. 1
  4. 1 000 000

Разбор

Эпоха это один проход по всем данным: 10 000 / 100 = 100 мини-батчей и 100 шагов.

  • 10 000 шагов было бы при батче 1 (чистый SGD).
  • 1 шаг это полный градиентный спуск, батч равен всему датасету.
  • 1 000 000 это произведение, а не частное.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.