Выбор ответа Middle Дообучение и LoRA обновлено
Шаблон чата при дообучении
Вопрос
Модель дообучили на примерах в формате «Вопрос: ... Ответ: ...», а в проде вызывают через чат-API с ролями и системным промптом. Качество хуже ожидаемого. Почему?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Формат обучения не совпадает с форматом вызова: модель училась на другом шаблоне. Модель учится на конкретном представлении текста.
Варианты ответа
- Формат обучения не совпадает с форматом вызова: модель училась на другом шаблонеправильный ответ
- Чат-API хуже работает с дообученными моделями из-за дополнительной фильтрации
- Системный промпт отключает адаптер LoRA, и модель отвечает как базовая
- Дообученные модели не поддерживают роли, поэтому сообщения склеиваются в один текст
Разбор
Модель учится на конкретном представлении текста. Обучающие примеры нужно оформлять тем же шаблоном чата (специальные токены ролей) и с тем же системным промптом, что в проде. Иначе часть выученного не переносится. Общего недостатка у чат-API нет. Системный промпт не отключает адаптер. Роли поддерживаются, если на них учили.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.