Выбор ответа Junior Регуляризация обновлено
Early stopping
Вопрос
Как работает early stopping?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Следим за валидацией и останавливаем, когда она не улучшается N эпох, берём лучший чекпоинт. Patience защищает от остановки на случайном шуме.
Варианты ответа
- Останавливаем, когда loss на трейне стал нулевым или перестал падать дольше одной эпохи подряд
- Следим за валидацией и останавливаем, когда она не улучшается N эпох, берём лучший чекпоинтправильный ответ
- Останавливаем через фиксированное число эпох, подобранное по прошлым запускам
- Останавливаем, когда норма градиента стала больше порога, чтобы не было взрыва
Разбор
Patience защищает от остановки на случайном шуме. Важно сохранять лучший чекпоинт, а не последний. Так как валидация участвует в выборе, итоговая оценка на отдельном тесте.
- Нулевой loss на трейне скорее признак переобучения.
- Фиксированное число эпох это просто расписание.
- Большой градиент повод для клиппинга, а не для остановки.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.