Карточка Senior Дообучение и LoRA обновлено
Этапы RLHF
Вопрос
Опишите этапы RLHF.
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
1) SFT-модель. 2) Сбор предпочтений: люди сравнивают пары ответов.
Ответ
- SFT-модель. 2) Сбор предпочтений: люди сравнивают пары ответов. 3) Обучение модели награды на этих сравнениях. 4) Оптимизация LLM алгоритмом RL (PPO) на максимум награды со штрафом KL за отход от SFT-модели.
Разбор
- SFT-модель. 2) Сбор предпочтений: люди сравнивают пары ответов. 3) Обучение модели награды на этих сравнениях. 4) Оптимизация LLM алгоритмом RL (PPO) на максимум награды со штрафом KL за отход от SFT-модели.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.