PEFT
Вопрос
Что такое parameter-efficient fine-tuning?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Методы дообучения, меняющие малую долю параметров при замороженной базе: LoRA и её варианты, адаптеры между слоями, prefix и prompt tuning. Экономят память и позволяют держать много задач на одной базе с маленькими сменными адаптерами.
Разбор
Методы дообучения, меняющие малую долю параметров при замороженной базе: LoRA и её варианты, адаптеры между слоями, prefix и prompt tuning. Экономят память и позволяют держать много задач на одной базе с маленькими сменными адаптерами.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Порядок дообучения предобученной модели
Следующий вопрос
Ревью: дообучение предобученной модели