Стратегии дообучения
Вопрос
Сравните способы адаптации предобученной модели к задаче: feature extraction, полный fine-tuning, LoRA, промптинг. Как выбрать?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Feature extraction: замороженная модель и простой классификатор поверх, дёшево, мало данных
Полный fine-tuning: лучшее качество при достаточных данных, дорого, риск забывания
LoRA и PEFT: почти качество полного дообучения при малой памяти, удобно для многих задач
Промптинг и few-shot для LLM без обучения
Выбор по данным, бюджету, требованиям к латентности и числу задач
Что могут спросить следом
- Сколько данных нужно, чтобы fine-tuning обогнал промптинг?
- Как выбрать ранг LoRA?
Разбор
Самый дешёвый вариант это извлечение признаков: беру эмбеддинги из замороженной модели и учу поверх логистическую регрессию или бустинг. Работает на сотнях примеров и почти ничего не стоит. Полный fine-tuning обновляет все веса: даёт лучшее качество при тысячах и больше примеров, но требует памяти на градиенты и состояние оптимизатора, рискует катастрофическим забыванием и даёт по полной копии модели на задачу. LoRA и другие PEFT-методы обучают маленькие добавки при замороженной базе: качество часто близко к полному дообучению, памяти нужно в разы меньше, адаптеры весят мегабайты и переключаются на одной базе. Для больших языковых моделей отдельная опция промптинг и few-shot без обучения: быстро и гибко, но дороже на инференсе и менее стабильно. Выбираю по объёму размеченных данных, бюджету на обучение и инференс, требованиям к латентности и тому, сколько задач нужно обслуживать.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.