Какая регуляризация в каких моделях
Вопрос
Сравните регуляризацию в CNN, трансформерах и больших языковых моделях. Почему при предобучении LLM dropout часто выключают?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
CNN: аугментации главный инструмент, плюс weight decay, иногда dropout в голове
Трансформеры среднего размера: dropout в attention и MLP, weight decay, label smoothing
LLM на огромных данных проходят мало эпох, переобучения почти нет, dropout мешает скорости обучения
Weight decay в AdamW остаётся почти везде
При fine-tuning на малых данных регуляризация снова важна
Что могут спросить следом
- Что такое stochastic depth?
- Как регуляризуют LoRA-дообучение?
Разбор
В свёрточных сетях главный регуляризатор это аугментации данных, к ним добавляют weight decay, label smoothing, mixup и CutMix, а dropout обычно только перед классификатором; в глубоких сетях используют stochastic depth, случайно пропуская residual-блоки. В трансформерах классического размера dropout стоит в attention и в MLP-блоках, плюс weight decay и label smoothing. Большие языковые модели предобучают на триллионах токенов, часто меньше чем за одну-две эпохи по данным: модель почти не видит пример повторно, и переобучение не главная проблема. Dropout в таком режиме только замедляет обучение и уменьшает эффективную ёмкость, поэтому его часто ставят в ноль, оставляя weight decay. А вот при fine-tuning на маленьком наборе данных регуляризация снова нужна: меньший lr, weight decay, dropout в адаптерах LoRA, early stopping.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.