Выбор ответа Middle Дообучение и LoRA обновлено
Катастрофическое забывание
Вопрос
После дообучения на классификации обращений модель стала отлично классифицировать, но хуже отвечать на общие вопросы и следовать инструкциям. Что это и что поможет?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Катастрофическое забывание; помогут меньше эпох, ниже learning rate, общие данные, LoRA. Узкое дообучение сдвигает веса так, что прежние навыки деградируют.
Варианты ответа
- Переобучение токенайзера на словах классов; нужно вернуть исходный токенайзер и повторить обучение
- Это нормальное поведение любой дообученной модели, и оно не лечится настройками обучения
- Нехватка контекстного окна после дообучения; нужна модель с большим окном или короче промпты
- Катастрофическое забывание; помогут меньше эпох, ниже learning rate, общие данные, LoRAправильный ответ
Разбор
Узкое дообучение сдвигает веса так, что прежние навыки деградируют. Мягкое обучение, смешивание данных и параметро-эффективные методы снижают эффект; если модель нужна только для одной задачи, деградация остального может быть приемлемой. Токенайзер при дообучении обычно не меняют. Окно тут ни при чём.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.