Код Junior Эмбеддинги и fine-tuning обновлено
Сколько параметров обучает LoRA
Условие
Напишите lora_params(shapes, r): для списка матриц [d_out, d_in], к которым добавляется LoRA ранга r, верните [full, lora, ratio]: полное число параметров этих матриц, число обучаемых параметров LoRA (r·(d_in + d_out) на матрицу) и долю lora/full, округлённую до 6 знаков.
Примеры
lora_params([[4096, 4096]], 8) // [16777216, 65536, 0.003906]
lora_params([[4096, 4096], [4096, 4096]], 16) // [33554432, 262144, 0.007812]
lora_params([[10, 10]], 10) // [100, 200, 2]
Решите в тренажёре
Редактор с автотестами прямо в браузере. Можно решить спокойно, вслух или под таймером, как на собесе.