Выбор ответа Middle Дообучение и LoRA спрашивают часто обновлено
Сколько параметров учит LoRA
Вопрос
Матрица весов 4096×4096, LoRA с рангом r = 8. Сколько обучаемых параметров добавится для этой матрицы?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: 65 536. LoRA добавляет B размера 4096×8 и A размера 8×4096: 8·(4096 + 4096) = 65 536 параметров.
Варианты ответа
- 65 536правильный ответ
- 16 777 216
- 32 768
- 4 096
Разбор
LoRA добавляет B размера 4096×8 и A размера 8×4096: 8·(4096 + 4096) = 65 536 параметров. 16,7 млн это сама матрица, её LoRA замораживает. 32 768 это только одна из двух матриц. 4096 не соответствует ни одной из них.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.