Fine-Tuning

Wyobraź sobie, że chcesz nauczyć swój telefon rozpoznawać zdjęcia potraw i podawać przepisy. Problem? Modele, które to potrafią, są gigantyczne i wymagają mocy obliczeniowej serwerowni Google. HyDRA to sprytna metoda, która pozwala dostosować takie modele do działania na urządzeniach mobilnych — bez bankructwa i bez topienia planety. Problem: Słoń w telefonie Vision Language Models (VLM) to modele AI, które rozumieją jednocześnie obrazy i tekst. Możesz pokazać im zdjęcie i zapytać “co tu widzisz?” albo “jak to naprawić?”. Brzmi świetnie, ale jest haczyk. ...

W ostatnich latach Low‑Rank Adaptation (LoRA) stało się kluczową techniką efektywnego parametrycznie dostrajania dużych modeli językowych (LLM) oraz modeli dyfuzyjnych. Dzięki wprowadzeniu macierzy o niskim rzędzie, LoRA znacznie redukuje zapotrzebowanie na pamięć i moc obliczeniową. Jednak w praktyce napotykamy dwa główne problemy: Niejednoznaczna inicjalizacja: Różne pary macierzy ($A, B$) mogą dawać ten sam przyrost wagi $\Delta W = A,B^\top$, co prowadzi do niestabilnych startów. Redundancja parametrów: Bez kanonicznej reprezentacji gradienty mogą krążyć wśród równoważnych faktoryzacji. RiemannLoRA prezentuje geometryczną metodę, która usuwa te niejasności i przyspiesza oraz stabilizuje fine‑tuning. ...