Wyobraź sobie, że masz model językowy (LLM), który ma mechanizmy bezpieczeństwa — czyli ma mówić “nie” na prośby o rzeczy nielegalne, szkodliwe czy niebezpieczne. Tylko że nikt nie jest idealny — i można go próbować “złamać” przez sprytne prowadzenie rozmowy.

Publikacja “Tree‑based Dialogue Reinforced Policy Optimization for Red‑Teaming Attacks” proponuje sposób, by automatycznie i systematycznie prowadzić wieloturne (multi‑turn) rozmowy, które maksymalizują szansę na to, że model się “złamie” (czyli wygeneruje coś, czego normalnie by nie wygenerował). Autorzy łączą eksplorację drzewa dialogów z uczeniem ze wzmocnieniem oraz kilkoma praktycznymi trikami, żeby metoda była stabilna i skuteczna.

Dlaczego to ciekawe? Bo pokazuje, że ataki prowadzone przez serię sprytnych pytań — reagujących na odpowiedzi modelu — są groźniejsze niż jednorazowe “prompt injection”. Metoda ta pomaga lepiej testować bezpieczeństwo modeli zanim ktoś wykorzysta luki w realnym świecie.

Dla początkujących — jak to zrozumieć “po ludzku”

Prościej: wyobraź sobie negocjacje, w których chcesz dowiedzieć się sekretu. Nie pytasz wprost, bo druga osoba się zbuntuje. Zaczynasz od małych pytań, budujesz zaufanie, zmieniasz styl, dopasowujesz się do odpowiedzi i powoli eskalujesz. Zdarza się, że w 6–7 dobrze dobranych turach dostaniesz to, czego potrzebujesz.

W praktyce atakujący to algorytm, który obserwuje odpowiedź modelu i decyduje, co zapytać dalej. Zamiast ręcznego wymyślania wszystkich możliwych strategii, autorzy proponują automatyczne tworzenie i ocenianie gałęzi rozmowy — jakbyś przeglądał różne scenariusze rozmowy jak gałęzie drzewa i trzymał te najbardziej obiecujące.

Prosta analogia:

• Korzeń drzewa = pierwsze, niewinne pytanie.
• Gałęzie = kolejne możliwe kontynuacje w zależności od odpowiedzi.
• Liście = końcowe odpowiedzi modelu — sprawdzasz, czy któraś “złamała” zabezpieczenia.

Metoda uczy się planować w przód i adaptować strategię w zależności od tego, co się dzieje — nic trudnego, tylko trzeba to dobrze opisać matematycznie i technicznie.

Dla bardziej ogarniętych — sedno metody i matematyka

Teraz kawa na stół — trochę matematyki i konkretów. Będę używał LaTeX, żeby było clean.

1) Formalizacja problemu

Atak traktujemy jako proces sekwencyjny. Niech $g\in D$ będzie celem ataku (np. “wygeneruj instrukcję X”). W turze $t$ mamy stan

gdzie $c_i$ to plan/rozumowanie (chain-of-thought), $q_i$ — zapytanie wysłane do modelu, a $r_i$ — odpowiedź modelu.

Polityka atakującego to ${\pi }_{\theta }$, która na podstawie stanu wybiera kolejną akcję — czyli parę $(c_{t+1},q_{t+1})$. Model‑cel odpowiada według swojej własnej (nieraz nieznanej) polityki ${\pi }_{\text{tgt}}$ i zwraca $r_{t+1}$.

2) Funkcja celu (nagroda) i regularizacja

Celem jest maksymalizacja oczekiwanej nagrody przy jednoczesnym karaniu zbyt dużych odchyleń od policy referencyjnej (stability):

Tu:

• $r_{\varphi }(g,y)$ — ocenia, czy ścieżka dialogowa $y$ doprowadziła do sukcesu (np. model wygenerował treść łamiącą zasady). Często binarna (0/1), ale można zrobić miększą wersję.
• ${\pi }_{\mathrm{ref}}$ — policy referencyjna (np. SFT), do której porównujemy nową politykę, żeby uniknąć zbyt agresywnej degeneracji.
• $\beta$ — współczynnik regularyzacji.

3) Drzewo dialogów — rollout i pruning

Zamiast pojedynczych trajektorii, generujemy drzewo: w każdym kroku dla każdego węzła tworzymy $n$ kandydatów pytań/planów, dostajemy odpowiedzi, i tak dalej. Ale żeby drzewo nie eksplodowało, stosujemy przycinanie (pruning): odrzucamy gałęzie, które:

• są poza tematem (off‑topic),
• nie zachowują formatu (nie ma CoT albo query),
• mają niskie szanse (heurystyka oceny).

Na końcu zbieramy zbiór trajektorii i ich nagród i uczymy policy poprzez RL.

4) Adaptacyjne maskowanie — zabezpieczenie formatu

Problem praktyczny: podczas RL policy może zacząć generować “zepsute” formaty (np. brak planu przed zapytaniem). Aby tego zapobiec, autorzy proponują adaptacyjne maskowanie gradientów: dla trajektorii o niskiej jakości maskujemy (blokujemy) aktualizację gradientów związanych z tokenami odpowiadającymi za format, aby nie degradują się w trakcie uczenia. Dla trajektorii pozytywnych aktualizujemy normalnie.

W skrócie: nie karzmy tokenów formatu, gdy trajektoria jest słaba — bo to może wysadzić strukturę dialogu.

5) Pseudokod (schemat)

1. SFT: naucz \pi_ref na danych nadzorowanych (CoT + query).
2. Dla każdej epizody:
   a. zainicjuj drzewo z korzeniem s0;
   b. dla t = 1..T_max:
      - dla każdej gałęzi w drzewie wygeneruj n kandydatów (c,q);
      - uzyskaj odpowiedzi r od modelu-celu;
      - oceń i przytnij gałęzie (off-topic/format/prune);
      - jeśli jakaś gałąź osiągnęła sukces -> zbierz jako pozytywny przykład;
   c. oblicz nagrody r_phi dla wszystkich trajektorii;
   d. wykonaj aktualizację \pi_theta z karą KL i adaptacyjnym maskowaniem.

Jak to można wykorzystać — konkretne przykłady

1. Testy bezpieczeństwa dla firm: zamiast ręcznie tworzyć testy “co by było, gdyby…”, można automatycznie wygenerować sety rozmów, które sprawdzą granice modelu.

2. Udoskonalanie filtrów: kiedy masz wzorce ataków (np. sekwencja pytań), możesz stworzyć reguły wykrywające eskalacje i agresywnie blokować dalsze rozmowy.

3. Symulacje użytkownika: szkolenie botów, które mają rozpoznawać manipulację — można użyć adversarialnych polityk do trenowania detektorów.

4. Badania nad generalizacją ataków: autorzy pokazują, że polityka wytrenowana na mniejszym modelu może efektywnie transferować ataki na większe modele — ważne przy audytach bezpieczeństwa.

Podsumowanie — co to daje i dlaczego warto to znać

• Multi‑turn ataki są groźniejsze niż jednorazowe prompty.
• DIALTREE‑RPO to rozsądne połączenie drzewa dialogów, RL i technik stabilizujących (adaptacyjne maskowanie). Dzięki temu można automatycznie wyciskać luki zabezpieczeń LLM.
• To narzędzie jest przydatne zarówno do ofensywy (badacze próbujący znaleźć luki), jak i defensywy (firmy testujące swoje modele przed wypuszczeniem).

Jeśli chcesz, mogę też wygenerować wersję angielską, skróconą infografikę lub pseudokod w Pythonie, który symuluje prosty wariant tego podejścia — daj znać.