Выбор ответа Junior Дообучение и LoRA обновлено
Данные для SFT
Вопрос
Что сильнее всего влияет на результат SFT?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Качество, согласованность и разнообразие примеров, совпадение формата с продовым. Модель копирует то, что видит: противоречивые или небрежные примеры дают нестабильный результат, а формат, отличный от продового, обучает не тому.
Варианты ответа
- Количество примеров: начиная с 100 тысяч качество разметки уже почти не влияет
- Качество, согласованность и разнообразие примеров, совпадение формата с продовымправильный ответ
- Длина каждого примера: длинные ответы учат модель рассуждать подробнее и отвечать точнее
- Число эпох: чем дольше обучение, тем лучше модель запоминает нужное поведение
Разбор
Модель копирует то, что видит: противоречивые или небрежные примеры дают нестабильный результат, а формат, отличный от продового, обучает не тому. Количество помогает только при сохранении качества. Длина примеров должна соответствовать задаче. Много эпох ведёт к переобучению и забыванию.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.