Выбор ответа Junior Регуляризация спрашивают часто обновлено
Как работает dropout
Вопрос
Что делает dropout с вероятностью p во время обучения?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Случайно обнуляет долю p активаций и масштабирует оставшиеся на 1/(1-p). Inverted dropout: маска на каждом шаге новая, масштабирование 1/(1-p) сохраняет матожидание активаций, поэтому на инференсе ничего пересчитывать не нужно, слой просто пропускает вход.
Варианты ответа
- Случайно обнуляет долю p активаций и масштабирует оставшиеся на 1/(1-p)правильный ответ
- Случайно удаляет долю p весов навсегда, уменьшая размер сети после обучения
- Обнуляет долю p объектов в батче, чтобы модель не запоминала их
- Добавляет гауссов шум с дисперсией p к градиентам на каждом шаге
Разбор
Inverted dropout: маска на каждом шаге новая, масштабирование 1/(1-p) сохраняет матожидание активаций, поэтому на инференсе ничего пересчитывать не нужно, слой просто пропускает вход. Сеть не может полагаться на конкретные нейроны, это снижает переобучение.
- Веса не удаляются, это прунинг.
- Объекты батча не трогаются.
- Шум в градиентах это другая техника.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.