Выбор ответа Senior Дообучение и LoRA обновлено
DPO против RLHF
Вопрос
Чем DPO отличается от классического RLHF с PPO?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: DPO учит модель прямо на парах «лучший и отвергнутый ответ», без модели награды и RL-цикла. В RLHF сначала обучают reward model, затем оптимизируют LLM алгоритмом RL с KL-штрафом: сложно, дорого и нестабильно.
Варианты ответа
- DPO требует в два раза больше разметки, чем RLHF, зато перед ним не нужен отдельный этап SFT
- DPO обучает модель награды вместо самой LLM, а затем использует её для фильтрации ответов
- DPO применяется до предобучения, чтобы заранее отсеять нежелательные тексты из корпуса
- DPO учит модель прямо на парах «лучший и отвергнутый ответ», без модели награды и RL-циклаправильный ответ
Разбор
В RLHF сначала обучают reward model, затем оптимизируют LLM алгоритмом RL с KL-штрафом: сложно, дорого и нестабильно. DPO показывает, что ту же цель можно оптимизировать напрямую на парах предпочтений, как обычное обучение с учителем. Данные те же: пары предпочтений, вдвое больше их не нужно. Модель награды DPO не обучает. Применяется после SFT, а не до предобучения.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.