LoRA и QLoRA: объяснить механизм

Образцовый ответ: «Гипотеза LoRA: изменение весов при дообучении имеет низкий ранг. Поэтому исходную матрицу W замораживаем и учим добавку B на A с маленьким рангом r. Для матрицы 4096 на 4096 при r = 8 это 65 тысяч параметров вместо почти 17 миллионов. Градиенты и состояния оптимизатора нужны только для адаптеров, поэтому память в разы меньше. B стартует с нулей, так что вначале модель совпадает с базовой. Адаптер весит мегабайты: можно держать по адаптеру на задачу и переключать их на одной базовой модели, а для одного сценария влить в веса без лишней задержки. QLoRA дополнительно хранит базу в 4 битах, что позволяет учить крупные модели на одной GPU. Ограничения: на сильных сдвигах распределения полное дообучение может быть лучше, нужно подбирать ранг и слои, обычно адаптируют все линейные слои, а не только q и v».