Zacznijmy od tego: wszyscy (którzy choć trochę liznęli uczenia maszynowego) wiedzą, że sieci neuronowe są nieliniowe. To znaczy: jeden warstwowy perceptron to prosta funkcja liniowa, ale jak dokładasz aktywacje, warstwy, itp., to robi się nieliniowo — i dzięki temu sieci radzą sobie z naprawdę skomplikowanymi zadaniami (obrazki, język, itd.).

Ale autorzy pracy „Who Said Neural Networks Aren’t Linear?” (Nimrod Berman, Assaf Hallak, Assaf Shocher) postawili sobie prowokacyjne pytanie: a może jesteśmy w błędzie co do tej nieliniowości? A dokładniej: może to zależy jak patrzymy, czyli względem jakich przestrzeni wektorowych?

Innymi słowy: może istnieje „inny sposób patrzenia” (inne definicje dodawania, skalowania wektorów itp.), w którym to, co wydaje się nieliniowe, staje się liniowe. I jeśli to się uda dobrze skonstruować — to zyskujemy potężne narzędzia z algebry liniowej (jak SVD, pseudoinwersje, projekcje ortogonalne) do zastosowania w miejscach, gdzie dotąd były „nieliniowe sieci”.

Dlaczego to ciekawe? Bo to trochę jak magia: nagle funkcje, które uważaliśmy za „zbyt pokręcone” na prostą algebrę, stają się „proste” po przejściu do innej perspektywy. To otwiera drzwi do nowych architektur, lepszego treningu, mniej kroków przy generowaniu modeli (np. w modelach dyfuzji), a może do lepszej interpretowalności. W skrócie: to próba budowy mostu między światami liniowości i nieliniowości.

1. Dla początkujących – prosto, z przykładami i analogiami

Wyobraź sobie, że masz mapę (płaszczyznę) i punkty na niej — to Twoja przestrzeń „X”. I masz transformację $ f: X \to Y $, która zamienia te punkty w inne punkty w przestrzeni „Y”. W standardowym ujęciu, jeśli ta transformacja nie spełnia własności $ f(x + x’) = f(x) + f(x’) $ i $ f(c \cdot x) = c \cdot f(x) $, to mówimy, że jest nieliniowa.

Ale teraz pomyśl: co, jeśli nie musisz używać „standardowego dodawania” w $X$ i „standardowego skalowania”? Co, jeśli możesz wprowadzić nową definicję dodawania w $X$, powiedzmy „$\oplus_X$” oraz nową definicję mnożenia przez skalar „$\otimes_X$”, i analogicznie w $Y$ — takie, że z punktu widzenia tych nowych operacji $ f $ staje się liniową funkcją?

To trochę jak byś miał dziwną blachę i mówisz: „na tej blasze normalne dodawanie działa inaczej” — i w tym nowym świecie operacje, które wyglądały jak zakręty, stają się prostą linią.

Autorzy proponują konstrukcję, w której:

  • Używają dwóch odwracalnych sieci neuronowych $ g_x $ i $g_y $.
  • W środku, między nimi, mają zwykły operator liniowy $ A $.
  • Cała funkcja wygląda tak: $$ f(x) = g_y^{-1}(A , g_x(x)). $$

Myślisz: aha, więc to nadal nieliniowe — bo mamy $ g_x $, $ g_y^{-1} $. Ale kluczem jest to, że $ g_x $ i $ g_y $ przedefiniowują nasze pojęcie dodawania i skalowania w „wewnętrznych” przestrzeniach. W tych przestrzeniach (które są „przekształconymi” wersjami $X$ i $Y$) $ f $ jest liniowa względem tych nowych operacji.

Tak jakbyś wkładał obiekty do specjalnych okularów, i wtedy zakrzywione linie widzisz jako proste — bo okulary zmieniają geometrię widzenia.

Dlaczego to może być użyteczne? Bo jak już masz $ f $ liniowe w tej „ukrytej przestrzeni”, to możesz używać całej maszyny algebry liniowej: dekompozycja SVD, pseudoinwersje, projekcje ortogonalne — rzeczy, które są dobrze zbadane i szybkie. A także — łączenie takich przekształceń, manipulacje, analizę struktur.

2. Dla bardziej ogarniętych – sedno, wzory, metoda krok po kroku

Dobra, teraz czas stanąć przy tablicy i zobaczyć, co tu się naprawdę dzieje.

2.1 Konstrukcja „Linearizera”

Autorzy definiują Linearizer jako architekturę postaci:

$$ f(x) = g_y^{-1} \bigl( A , g_x(x) \bigr) $$

gdzie:

  • $ g_x: X \to U $ jest odwracalną (bijektywną) siecią neuronową,
  • $ g_y: Y \to V $ analogicznie,
  • $ A: U \to V $ jest operatorem liniowym (macierz, transformacja liniowa).

Teraz — jaka jest logika? Chcemy, aby istnieły struktury wektorowe (przestrzenie) $ (X, \oplus_X, \otimes_X) $ i $ (Y, \oplus_Y, \otimes_Y) $, takie, że $ f $ spełnia własności liniowości w tych strukturach:

  1. $ f(x \oplus_X x’) = f(x) \oplus_Y f(x’) $
  2. $ f(c \otimes_X x) = c \otimes_Y f(x) $

Jak to „przedefiniować” $\oplus_X$, $\otimes_X$? Wymyślane są one z użyciem $ g_x, g_y $. Dla przykładu:

  • W przestrzeni $ X $:
    $$ x \oplus_X x’ = g_x^{-1}\bigl( g_x(x) + g_x(x’) \bigr) $$
    $$ c \otimes_X x = g_x^{-1}\bigl( c \cdot g_x(x) \bigr) $$

  • W przestrzeni $ Y $: analogicznie, używając $ g_y $.

Z tymi definicjami, łatwo sprawdzić, że:

$$ g_x(x \oplus_X x’) = g_x(x) + g_x(x’) $$

i podobnie dla reszty, i w efekcie:

$$ f(x \oplus_X x’) = g_y^{-1}\bigl(A, (g_x(x) + g_x(x’))\bigr) = g_y^{-1}(A, g_x(x) + A, g_x(x’)) = f(x) \oplus_Y f(x’) $$

czyli działa liniowo w tych nowych strukturach.

Dlatego — choć z perspektywy standardowej $ f $ wygląda na nieliniowe połączenie sieci — w tych alternatywnych przestrzeniach to naprawdę linearne.

2.2 Własności i składanie Linearizerów

Kilka ważnych wyników, które pokazują, że to podejście nie jest tylko ciekawostką:

  • Możesz złożyć dwa Linearizery, które dzielą część sieci, i wynik złożenia też będzie Linearizerem. To daje elastyczność w budowaniu większych transformacji.
  • Można to podejście zastosować do modeli dyfuzji (diffusion models) i dramatycznie skrócić liczbę kroków generowania — co jest realną korzyścią praktyczną w uczeniu generatywnym.
  • Autorzy też pokazują, że można wymusić własność idempotencji: $ f(f(x)) = f(x) $. Dzięki temu funkcja staje się projekcją (po przekształceniu), co bywa użyteczne w generatywnych modelach i stylotransferze.

2.3 Podsumowanie kroków metody

  1. Wybierasz lub projektujesz $ g_x $ i $ g_y $ — sieci odwracalne, które przekształcą oryginalne przestrzenie w bardziej „liniowo przyjazne” wnętrza.
  2. Uczysz (lub ustawiasz) liniowy operator $ A $ działający w tych przestrzeniach.
  3. Cała funkcja to $ f(x) = g_y^{-1} ( A , g_x(x) ) $.
  4. W tych przestrzeniach redefiniujesz dodawanie i mnożenie przez skalary tak, by transformacja była liniowa względem nich.
  5. Dodatkowo — opcjonalnie — narzucasz dodatkowe warunki (np. idempotencję) albo łączysz wiele takich bloków w większe systemy.

3. Jak to można wykorzystać – konkretne przykłady praktyczne

Dobra, wystarczy teorii — teraz pomyślmy o praktyce. Gdzie coś takiego może się przydać?

  1. Skracanie generowania w modelach dyfuzji (diffusion models)
    W typowych modelach dyfuzji potrzeba dziesiątków, setek kroków, aby wygenerować obraz albo dźwięk. Autorzy pokazują, że użycie Linearizerów może pozwolić na konwersję wielokrokowego procesu do jednego kroku. To ogromna oszczędność czasu obliczeniowego.

  2. Generatywne modele projektujące (projekcje, style transfer)
    Dzięki idempotencji ($ f(f(x)) = f(x) $) można uzyskać modele, które są (w sensie nowych przestrzeni) projekcjami — co przydaje się, gdy chcesz mieć stabilne przekształcenie, które „nie zmienia więcej, niż trzeba”. To może być stosowane w stylotransferze, w miksowaniu stylów, w edycji obrazków itp. :contentReference[oaicite:6]{index=6}

  3. Lepsza interpretowalność i analizy strukturalne
    Jeśli uda Ci się „zlinearizować” funkcję, możesz używać wszystkich narzędzi z algebry liniowej: dekompozycje, pseudoinwersje, projekcje ortogonalne, analizy rangi itp. To daje możliwość lepszego zrozumienia, co robi dana sieć, jakie są główne kierunki przekształceń, jakie wymiary są dominujące, itd.

  4. Modularność architektur
    Dzięki temu, że można łączyć Linearizery, można budować moduły, które można komponować jak „klocki”, utrzymując linearność w nowych przestrzeniach. To daje elastyczność projektowania modeli złożonych bez utraty kontroli.

4. Podsumowanie – co to wnosi i dlaczego to ważne

No i dotarliśmy do mety. Co z tego wszystkiego wynika?

  • Praca ta rzuca wyzwanie klasycznemu poglądowi: że sieci neuronowe z definicji muszą być nieliniowe. Pokazuje, że jeśli zmienisz definicję przestrzeni — możesz sprawić, że coś, co wygląda na nieliniowe, stanie się liniowe.
  • To nie jest jedynie trik matematyczny — ma potencjał praktyczny: przyspieszanie modeli generatywnych, lepsza interpretowalność, modularność architektur, nowe możliwości w stylotransferze i edycji.
  • To łączenie dwóch światów: elastyczności i mocy sieci neuronowych (nieliniowości) z elegancją i narzędziami algebry liniowej.
  • W nauce to krok w stronę bardziej ujednoliconego spojrzenia: może wiele transformacji, które dotąd były „dziwnie nieliniowe”, da się opisać liniowo, ale w innej perspektywie.