Карточка Middle Дообучение и LoRA спрашивают часто обновлено
Формула LoRA
Вопрос
Запишите формулу LoRA и назовите параметры.
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
W' = W + (alpha / r)·B·A. W: исходная матрица d×k (заморожена).
Ответ
W' = W + (alpha / r)·B·A. W: исходная матрица d×k (заморожена). B: d×r (инициализация нулями), A: r×k (случайная). r: ранг (4-64). alpha: масштаб. Обучается r·(d + k) параметров вместо d·k.
Разбор
W' = W + (alpha / r)·B·A. W: исходная матрица d×k (заморожена). B: d×r (инициализация нулями), A: r×k (случайная). r: ранг (4-64). alpha: масштаб. Обучается r·(d + k) параметров вместо d·k.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.