Сопоставление Middle Дообучение и LoRA обновлено
Методы дообучения и их суть
Вопрос
Сопоставьте метод и его суть.
Попробуйте сами
Нажмите слева, потом подходящее справа.
Показать ответ и разбор
Коротко
SFT учит формату и навыкам, LoRA и QLoRA это способы сделать обучение дешевле, RLHF и DPO выравнивают ответы по предпочтениям.
Правильные пары
SFTОбучение на парах «инструкция и желаемый ответ»
LoRAНизкоранговая добавка к замороженным весам
QLoRAАдаптеры поверх базы, квантованной в 4 бита
RLHFМодель награды и оптимизация через RL
DPOОбучение прямо на парах предпочтений без модели награды
Разбор
SFT учит формату и навыкам, LoRA и QLoRA это способы сделать обучение дешевле, RLHF и DPO выравнивают ответы по предпочтениям.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.