Карточка Junior Как устроены LLM обновлено
Этапы обучения LLM
Вопрос
Назовите три этапа обучения чат-модели.
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
1) Предобучение на огромном корпусе: предсказание следующего токена, получается базовая модель. 2) SFT: дообучение на парах «инструкция и ответ».
Ответ
- Предобучение на огромном корпусе: предсказание следующего токена, получается базовая модель. 2) SFT: дообучение на парах «инструкция и ответ». 3) Выравнивание по предпочтениям: RLHF (модель награды + RL) или DPO (прямо на парах лучше и хуже).
Разбор
- Предобучение на огромном корпусе: предсказание следующего токена, получается базовая модель. 2) SFT: дообучение на парах «инструкция и ответ». 3) Выравнивание по предпочтениям: RLHF (модель награды + RL) или DPO (прямо на парах лучше и хуже).
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.