Выбор ответа Middle Эмбеддинги и fine-tuning спрашивают часто обновлено
Как работает LoRA
Вопрос
Что делает LoRA при дообучении большой модели?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Замораживает веса W и учит добавку низкого ранга ΔW = B·A, ранг много меньше размера. Выход слоя: Wx + (α/r)·BAx.
Варианты ответа
- Удаляет половину слоёв модели и дообучает оставшиеся, чтобы уложиться в память
- Квантует все веса в int4 и обучает их напрямую со straight-through оценкой градиента
- Замораживает веса W и учит добавку низкого ранга ΔW = B·A, ранг много меньше размераправильный ответ
- Обучает только эмбеддинги токенов и выходной слой, а остальные веса заморожены
Разбор
Выход слоя: Wx + (α/r)·BAx. Для матрицы 4096×4096 при r = 8 обучается 2·4096·8 ≈ 65 тыс. параметров вместо 16.8 млн. Экономия памяти на градиентах и состоянии оптимизатора, адаптеры маленькие и переключаемые. B инициализируют нулями, чтобы на старте модель совпадала с исходной. QLoRA добавляет квантование замороженной базы в 4 бита.
- Слои не удаляются.
- Квантование базы это QLoRA, и обучаются всё равно адаптеры.
- Эмбеддинги обычно не трогают.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.