Artykuły z tagiem
LoRA
2 artykuły
HyDRA: Jak nauczyć telefon rozumieć obrazy bez palenia budżetu
HyDRA przydziela rangę LoRA hierarchicznie między warstwami VLM i dynamicznie wewnątrz nich, dając 4,7% poprawy bez wzrostu liczby trenowalnych parametrów.
Uczenie MaszynoweLoRAFine-tuning
RiemannLoRA: Zunifikowane ramy Riemanna dla bezdyskusyjnej optymalizacji LoRA
RiemannLoRA traktuje przyrost wag LoRA jako punkt na rozmaitości niskiego rzędu i usuwa niejednoznaczność faktoryzacji: 50% mniej kroków treningu, +1,2 BLEU.
Uczenie MaszynoweOptymalizacja RiemannaLoRA