Выбор ответа Senior Эмбеддинги и fine-tuning обновлено
Катастрофическое забывание
Вопрос
После полного fine-tuning языковой модели на узкой задаче она стала заметно хуже в общих задачах. Как это называется и как смягчают?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Катастрофическое забывание; помогают меньший lr, PEFT (LoRA), примешивание общих данных. Градиенты узкой задачи перезаписывают веса, отвечавшие за общие навыки.
Варианты ответа
- Переобучение на тесте; помогает увеличение lr, чтобы модель быстрее прошла узкий минимум
- Дрейф данных; помогает перемешивание выборки и нормализация признаков по батчу
- Это нормальное поведение после fine-tuning, и оно не лечится никакими настройками
- Катастрофическое забывание; помогают меньший lr, PEFT (LoRA), примешивание общих данныхправильный ответ
Разбор
Градиенты узкой задачи перезаписывают веса, отвечавшие за общие навыки. Смягчают: LoRA и другие PEFT-методы (база заморожена), маленький lr и короткое обучение, смешивание с данными общего домена (replay), штраф за отклонение от исходных весов или KL к исходной модели.
- Это не про тест и не лечится ростом lr.
- Дрейф это изменение распределения в проде.
- Лечится частично, приёмы выше.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.