Uczenie Maszynowe

W ostatnich latach Low‑Rank Adaptation (LoRA) stało się kluczową techniką efektywnego parametrycznie dostrajania dużych modeli językowych (LLM) oraz modeli dyfuzyjnych. Dzięki wprowadzeniu macierzy o niskim rzędzie, LoRA znacznie redukuje zapotrzebowanie na pamięć i moc obliczeniową. Jednak w praktyce napotykamy dwa główne problemy: Niejednoznaczna inicjalizacja: Różne pary macierzy ($A, B$) mogą dawać ten sam przyrost wagi $\Delta W = A,B^\top$, co prowadzi do niestabilnych startów. Redundancja parametrów: Bez kanonicznej reprezentacji gradienty mogą krążyć wśród równoważnych faktoryzacji. RiemannLoRA prezentuje geometryczną metodę, która usuwa te niejasności i przyspiesza oraz stabilizuje fine‑tuning. ...

Wyobraź sobie, że analizujesz dane z czujników. Nagle jeden z nich pokazuje -999°C. To tzw. outlier — odstający punkt, który potrafi całkowicie zafałszować analizę. 🧩 Czym jest faktoryzacja? Faktoryzacja macierzy to technika pozwalająca rozłożyć dane $X$ na dwa nieujemne składniki: $$ X \approx WH $$ Gdzie $W$ zawiera „cechy”, a $H$ mówi ile której cechy potrzeba. 💡 Problem Standardowe metody, takie jak NMF (Non-negative Matrix Factorization), są wrażliwe na błędy i wartości odstające. Gdy dane są „brudne”, analiza bywa bezużyteczna. ...