Waypoint-OPD: checkpoint z połowy drogi, który zwykle wyrzucamy

Sąsiad z góry skończył remont i efekt ci się podoba, więc prosisz o zdjęcia. Dostajesz dwa: “przed” i “po”. Salon był beżowy, jest ciepła biel.

Tu jest haczyk. Z tych dwóch zdjęć nie wyczytasz jednego: czy sąsiad od początku chciał tej bieli, czy najpierw pomalował ją na butelkową zieleń, pomieszkał z tym trzy tygodnie i przemalował. Oba przypadki dają identyczne zdjęcie “po” — raz przemyślaną decyzję, raz zamalowany ślad po pomyłce.

A teraz dochodzi zdjęcie z połowy remontu. Ściana już jasna? Sąsiad był konsekwentny, kopiujesz bez namysłu. Zielona? Coś tu nie wyszło. I rzecz najważniejsza: kopiujesz nadal stan końcowy — zdjęcie ze środka nie zmienia ani jednego koloru na twojej liście zakupów, mówi tylko, którym pozycjom zaufać.

Waypoint-OPD (arXiv 2610.21601, Alibaba Cloud Computing, październik 2026) robi to samo ze zdjęciami wag modelu. Trening RL nauczyciela i tak zapisuje checkpointy po drodze; metoda bierze ten z połowy przebiegu i pyta, czy wczesna zmiana polityki wskazywała w tę samą stronę co późna. Jeśli tak, sygnał destylacji przechodzi do ucznia w pełnej sile; jeśli nie, zostaje wyciszony do zera. Liczba z nagłówka: +2.18 pp średniej z siedmiu benchmarków matematycznych dla Qwen3-8B (56.14 wobec 53.96 baseliny), przy jednym dodatkowym przebiegu scoringu i zerze nowych parametrów.

Problem: ten sam przyrost, dwie różne historie

Dlaczego w ogóle transferujemy różnicę, a nie model?

RL z weryfikowalną nagrodą jest drogi i nudno drogi: wygeneruj odpowiedzi, sprawdź weryfikatorem, zaktualizuj politykę, powtórz. Nauczyciel w tym paperze to Qwen3-4B trenowany GRPO przez 1200 kroków przy rollout $n=8$. Pytanie tej gałęzi: jak przelać ten wysiłek na modele 8B, 14B i 30B bez powtarzania RL?

Klasyczna destylacja on-policy (Agarwal i in., ICLR 2024) każe uczniowi generować własne trajektorie i na nich dopasowywać swój rozkład do nauczyciela przez reverse KL. Rozwiązało to rozjazd między tym, co uczeń widzi w treningu, a tym, co odwiedza na inferencji. Ale celem pozostaje rozkład absolutny, a tu nauczyciel ma 4B, uczniowie od 8B do 30B — imitacja absolutna przenosi razem z umiejętnościami także jego sufit. OPD na kodzie dla Qwen3-8B kończy na 43.91, najniżej z metod destylacyjnych.

Direct-OPD (Feng i in., 2026) podmienia obiekt transferu. Nie rozkład nauczyciela, a jego przyrost — to, co RL w nim faktycznie zmienił.

gdzie:

• ${\pi }_0$ — polityka nauczyciela Initial, checkpoint przed RL
• ${\pi }_1$ — polityka nauczyciela Final, checkpoint po RL (krok 1200)
• $x$ — prompt treningowy
• $y$ — cała odpowiedź
• ${\Delta }^{(0,1)}(y\mid x)$ — przesunięcie polityki dla całej odpowiedzi
• $T$ — długość odpowiedzi w tokenach
• $s_t=(x,y_{<t})$ — prefiks: prompt plus tokeny do chwili $t$
• ${\delta }_t(a)$ — przesunięcie tokenowe kandydata $a$; dodatnie = RL podniósł jego prawdopodobieństwo
• $a$ — punktowany token-kandydat, niekoniecznie wylosowany
• $y_t$ — token wygenerowany na pozycji $t$

Innymi słowy: logarytm zamienia iloczyn prawdopodobieństw w sumę, więc jedna liczba opisująca całą odpowiedź rozpada się dokładnie na sumę wkładów tokenów. Bez żadnej heurystyki przypisania kredytu dostajesz gęstą nagrodę token po tokenie — i to właśnie przenosi Waypoint-OPD do ucznia.

Dlaczego różnica logarytmów ma prawo udawać nagrodę? Paper powołuje się na wynik z DPO (Rafailov i in., NeurIPS 2023): w wyidealizowanym optimum z regularyzacją KL log-iloraz polityk odtwarza nagrodę do dodatniej skali i stałej. To uzasadnienie jest zaimportowane przez cytowanie, nie wyprowadzone, a autorzy natychmiast się od niego odcinają. Wrócę do tego niżej.

Minimalny kontrprzykład: jedna suma, dwie trajektorie

Weź niezerowe przesunięcie końcowe $d$ i rozłóż je na dwa etapy treningu RL. Pierwszy rozkład: $u=v=d/2$ — pół drogi, potem drugie pół, cały czas w tę samą stronę. Drugi: $u=2d$, $v=-d$ — RL przestrzeliło dwukrotnie, a potem częściowo zawróciło.

Policz kąt. W pierwszym przypadku $u$ i $v$ są dodatnio współliniowe, cosinus wynosi $1$, bramka przepuszcza wszystko. W drugim $v=-u/2$, cosinus to $-1$, bramka zamyka się na zero. A suma? W obu przypadkach $u+v=d$, co do ostatniej cyfry.

Transfer, który widzi tylko punkty końcowe, nie ma jak ich rozróżnić. A decyzja z tego wynikająca jest skrajna: pełne zaufanie albo kompletna cisza.

Rozwiązanie: Waypoint-OPD w pigułce

Trzy checkpointy z jednego przebiegu

Cała infrastruktura metody to trzy zamrożone modele z jednego treningu RL nauczyciela: Initial (${\pi }_0$, przed RL), Waypoint (${\pi }_m$, krok 600 z 1200) i Final (${\pi }_1$, krok 1200). Żaden nie jest dotrenowywany ani nie generuje odpowiedzi — punktują tylko kandydatów wybranych przez ucznia. Na średniej z siedmiu benchmarków matematycznych mają kolejno 24.84, 51.82 i 56.13 — Waypoint jest więc wyraźnie słabszy od Finala.

Zastrzeżenie, które najłatwiej przekręcić

Jeśli zapamiętasz z tego posta jedną rzecz techniczną, niech będzie to ta: Waypoint nie jest celem imitacji. Przesunięcie Initial → Waypoint plus Waypoint → Final jest tożsamościowo równe przesunięciu Initial → Final, bo $\log {\pi }_m$ występuje raz z plusem i raz z minusem. Pośredni checkpoint nie wnosi do tej sumy ani jednego bitu. Wnosi informację o jej rozkładzie na dwie części — a ta ginie, gdy patrzysz tylko na końce.

To odgradza Waypoint-OPD od progressive distillation i Pro-KD (Rezagholizadeh i in., 2022; Panigrahi i in., ICLR 2025), które używają pośrednich checkpointów jako celów. Gdyby Waypoint był celem, uczeń odziedziczyłby jego 51.82 zamiast 56.13.

Jak to działa: od szesnastu kandydatów do jednej liczby

Support ucznia: dlaczego akurat szesnaście tokenów

Słownik Qwen3 ma około 150 tysięcy tokenów, a punktowanie każdego trzema nauczycielami byłoby absurdalnie drogie i w większości bezużyteczne — uczeń nigdy ich nie wygeneruje.

gdzie:

• ${\pi }_{\theta }$ — polityka ucznia o parametrach $\theta$
• ${\mathcal{K}}_t$ — zbiór $k$ kandydatów o najwyższym prawdopodobieństwie ucznia w prefiksie $s_t$
• $k$ — rozmiar supportu; w paperze $k=16$
• $a$ — kandydat z tego zbioru
• $b$ — indeks sumowania
• $q_t(a)$ — rozkład ucznia przenormalizowany do sumy 1 na tym supporcie
• $\mathrm{TopK}$ — operator wybierający $k$ największych prawdopodobieństw

Innymi słowy: jeden wzór, dwie funkcje. Pierwsza budżetowa — zamiast 150 tysięcy punktujemy szesnaście. Druga ważniejsza: $q_t$ będzie miarą, w której policzymy zgodność, więc nauczyciela oceniamy dokładnie tam, gdzie uczeń naprawdę dostanie aktualizację.

Dwa przesunięcia z jednego przebiegu

Mając trzeci checkpoint, przesunięcie końcowe rozcinamy na dwa odcinki: wczesny ${\delta }_t^{(1)}(a)=\log {\pi }_m(a\mid s_t)-\log {\pi }_0(a\mid s_t)$ i późny ${\delta }_t^{(2)}(a)=\log {\pi }_1(a\mid s_t)-\log {\pi }_m(a\mid s_t)$, gdzie ${\pi }_m$ to polityka nauczyciela Waypoint. Trzymiesięczny remont rozpada się na dwa półtoramiesięczne etapy: suma jest ta sama, ale teraz widzisz, czy drugi etap kontynuował pierwszy, czy go cofał.

Centrowanie, czyli krok, bez którego cosinus mierzy bzdurę

Wyobraź sobie, że RL podniosło logity wszystkich szesnastu kandydatów o tę samą stałą. Preferencje relatywne nie zmieniły się ani trochę, a surowy wektor przesunięcia i tak się obrócił w stronę jedynek. Cosinus liczony wprost na ${\delta }^{(1)}$ i ${\delta }^{(2)}$ mierzyłby offset skali, nie zmianę zdania.

gdzie:

• ${\mathcal{C}}_{q_t}$ — operator centrowania: odejmuje średnią ważoną wagami $q_t$
• $z$ — dowolna funkcja na kandydatach (tu: przesunięcie segmentowe albo końcowe)
• $a$ — centrowany kandydat
• $b$ — indeks sumowania po ${\mathcal{K}}_t$
• ${\mathbb{E}}_{b\sim q_t}[z(b)]$ — średnia $z$ ważona rozkładem ucznia, nie arytmetyczna
• $u_t={\mathcal{C}}_{q_t}[{\delta }_t^{(1)}]$ — wycentrowane przesunięcie wczesne
• $v_t={\mathcal{C}}_{q_t}[{\delta }_t^{(2)}]$ — wycentrowane przesunięcie późne
• $d_t={\mathcal{C}}_{q_t}[{\delta }_t]$ — wycentrowane przesunięcie końcowe, obiekt faktycznie transferowany

Innymi słowy: centrowanie wyrzuca składową niezależną od akcji i zostawia samo przetasowanie preferencji. Dowód niezmienności jest jednolinijkowy: ${\mathcal{C}}_{q_t}[z+\lambda ]={\mathcal{C}}_{q_t}[z]$ dla dowolnej stałej $\lambda$, bo wagi sumują się do jedynki. Różna normalizacja logitów między checkpointami przestaje więc cokolwiek zmieniać.

Operator ${\mathcal{C}}_{q_t}$ jest liniowy, więc tożsamość teleskopowa przeżywa centrowanie nienaruszona:

gdzie:

• $u_t,v_t$ — wycentrowane przesunięcia wczesne i późne
• $d_t$ — wycentrowane przesunięcie końcowe Initial → Final
• ${\mathcal{C}}_{q_t}$ — liniowy operator centrowania z równania (3)
• ${\delta }_t^{(1)},{\delta }_t^{(2)}$ — surowe przesunięcia wczesne i późne
• ${\pi }_0,{\pi }_1$ — nauczyciele Initial i Final

Innymi słowy: to formalna wersja zastrzeżenia z poprzedniej sekcji. Transferowanym obiektem pozostaje $d_t$, dokładnie to samo co w Direct-OPD; Waypoint wpływa tylko na wagę sygnału, nigdy na jego treść.

Cosinus ważony i sama bramka

gdzie:

• $c_t$ — lokalna zgodność czasowa w prefiksie $s_t$, wartość w $[-1,1]$
• $u_t,v_t$ — wycentrowane przesunięcia z równania (3)
• $⟨u_t,v_t{⟩}_{q_t}={\sum }_{a\in {\mathcal{K}}_t}{q}_t(a)u_t(a)v_t(a)$ — iloczyn skalarny ważony rozkładem ucznia, nie euklidesowy
• $\Vert u_t{\Vert }_{q_t}=\sqrt{⟨u_t,u_t{⟩}_{q_t}}$ — norma indukowana przez ten iloczyn
• $g_t$ — bramka prefiksu $s_t$ w $[0,1]$, wspólna dla całego supportu
• $\max (0,\cdot )$ — obcięcie: przy $c_t\le 0$ sygnał znika w całości, nie tylko słabnie

Innymi słowy: $c_t$ bliskie $+1$ znaczy, że RL przez cały trening pchało preferencje w tę samą stronę — stabilne przekonanie, przepuszczamy. Blisko zera odcinki są prostopadłe, brak informacji kierunkowej. Blisko $-1$ RL poszło w jedną stronę, a potem ją cofnęło; to ta zielona ściana. Obcięcie nie jest binarne: częściowa zgoda daje częściową wagę.

Jest jeszcze trzeci reżim: jeśli którakolwiek z ważonych norm nie przekroczy $\epsilon =10^{-8}$, kierunek jest numerycznie nieokreślony i bramka ustawia się na $g_t=1$. Brak informacji nie jest dowodem niezgody, więc gdy nie wiemy, nie karzemy.

Bramka siedzi przy tym na poziomie prefiksu, nie kandydata — cosinus jest wielkością między dwoma wektorami nad całym supportem, więc jeden prefiks dostaje $1.0$, a następny $0.0$. OPD2 (Heo i in., 2026) bramkuje per token zgodnością znaku; tutaj mierzymy kierunek zmiany preferencji, czyli coś relacyjnego między kandydatami.

Normalizacja skali w batchu

Średnia bramka dryfuje w trakcie treningu, więc bez korekty siła destylacji malałaby względem stałej kary KL i uczeń zastygałby przy swojej inicjalizacji. Poprawka jest jednoliczbowa: na cały globalny batch liczy się mnożnik ${\kappa }_{\mathcal{B}}=\mathrm{clip}(\tau /\bar{g},0.75,1.5)$, gdzie $\bar{g}$ to empiryczna średnia bramka, a $\tau =0.8$ docelowy poziom. Jest wspólny i dodatni, więc zachowuje relatywne wagi bramek i nie wzbudza z powrotem bramek zerowych. Oraz — paper mówi to dwa razy — iloczyn ${\kappa }_{\mathcal{B}}\cdot g_t$ może przekroczyć jedynkę, bo celem jest średnia bramka, nie norma wektora nagrody.

Gęsty współczynnik i cel optymalizacji

gdzie:

• $A_t(a)$ — końcowy współczynnik (advantage) kandydata $a$ w prefiksie $s_t$
• $\mathrm{sg}[\cdot ]$ — stop-gradient; $A_t$ jest przy różniczkowaniu stałą
• ${\kappa }_{\mathcal{B}}$ — wspólny dodatni mnożnik skali batcha
• $q_t(a)$ — waga ucznia; bardziej prawdopodobni kandydaci dostają więcej kredytu
• $g_t$ — bramka zgodności z równania (5), wspólna dla prefiksu
• $d_t(a)$ — wycentrowane przesunięcie końcowe, jedyny czynnik niosący kierunek i znak

Innymi słowy: trzy z czterech czynników są nieujemne i zmieniają wyłącznie wielkość; znak przychodzi tylko z $d_t$. To gwarancja, nie przypadek: bramka może sygnał nauczyciela wyciszyć do zera, ale nigdy nie powie uczniowi “rób odwrotnie niż nauczyciel”.

Cały cel treningowy ma kształt “sygnał minus KL” przeniesiony wprost z RLHF, tylko model nagrody zastąpiono różnicą dwóch zamrożonych checkpointów. Uczeń maksymalizuje ${\sum }_t{\sum }_{a\in {\mathcal{K}}_t}{A}_t(a)\log {\pi }_{\theta }(a\mid s_t)$ na własnych rolloutach, minus $\beta {\hat{D}}_{\mathrm{KL}}({\pi }_{\theta }\Vert {\pi }_S)$ przy $\beta =2.5$, gdzie estymata KL liczona jest tylko na tokenach wylosowanych. I tu siedzi szczegół decydujący o wszystkim, co zobaczymy w tabelach: kara KL ciągnie do ${\pi }_S$, czyli do inicjalizacji ucznia, nie do nauczyciela. Uczeń ma więc prawo go przerosnąć, bo nikt go do niego nie przywiązuje.

Liczby, które przekonują

Matematyka: siedem benchmarków, trzy skale ucznia

Średnia z siedmiu benchmarków (AIME 24/25/26, HMMT Feb 25, HMMT Nov 25, HMMT Feb 26, AMC 23), mean@32 (%). Nauczyciel Qwen3-4B: Initial 24.84, Waypoint 51.82, Final 56.13.

Przewagi nad najmocniejszą baseliną: +2.18 dla 8B, +1.59 dla 14B, +1.89 dla 30B-A3B. AMC 2023 jest tu sufitem, którego nauczyciel i tak dotyka (94.45); prawdziwe różnice robią się na HMMT, gdzie najlepszy wynik 8B to 42.60 przy bazie 13.33.

Kod: pięć ewaluacji i trzy komórki, w których OPD2 wciąż wygrywa

Średnia z MBPP, MBPP+ oraz LiveCodeBench v4/v5/v6, mean@8 (%). Nauczyciel Qwen3-4B Final: 55.37.

Przewagi nad Direct-OPD to +2.66, +1.52 i +1.19, tym razem we wszystkich piętnastu porównaniach per benchmark. Ale OPD2 jest wyżej w trzech komórkach: LiveCodeBench v5 dla 14B (43.56 wobec 43.11), MBPP dla 30B-A3B (88.23 wobec 88.00) i MBPP+ (74.44 wobec 74.21). Paper formułuje tezę precyzyjnie — najwyższa średnia domenowa wśród porównywanych metod — i warto tę precyzję zachować: to nie dominacja na każdym benchmarku.

Liczba, którą najłatwiej przeoczyć: dwaj z trzech uczniów kończą powyżej 4-miliardowego nauczyciela w obu domenach (w matematyce 14B o 3.07 nad jego 56.13, 30B-A3B o 1.72), a Qwen3-14B bije go na wszystkich siedmiu benchmarkach matematycznych. Qwen3-8B go nie przerasta — 56.14 wobec 56.13 to remis. Paper kwituje to jednym suchym zdaniem: cel transferu nie wymaga, by nauczyciel był lepszy od ucznia.

Ablacja: który komponent naprawdę robi robotę?

Tę tabelę czyta się od dołu.

mean@32 (%), średnia z siedmiu benchmarków matematycznych.

Normalizacja kosztuje 0.92 punktu — usprawnienie drugiego rzędu, nie fundament; wariant bez niej wciąż bije Direct-OPD o 1.26 na każdym benchmarku.

Dwa dolne wiersze są ciekawsze. Wyrzucenie samej bramki ($g_t=1$ wszędzie, reguła normalizacji zachowana) daje 53.50 — mniej niż goły Direct-OPD na 53.96. Pakiet “centrowanie plus przeskalowanie przez 0.8” bez bramki jest więc względem baseliny na minusie. Paper zbywa to jednym zdaniem, że porównanie nie izoluje efektu centrowania, i do tematu nie wraca.

A teraz kontrola, która podoba mi się najbardziej. Przetasowanie bramek: weź wszystkie $g_t$ z globalnego batcha i podstaw pod losowo wybrane inne prefiksy. Rozkład bramek zostaje identyczny. Ich średnia zostaje identyczna. ${\kappa }_{\mathcal{B}}$ nawet nie drgnie, bo zależy wyłącznie od średniej. Wagi $q_t$ i sygnały $d_t$ siedzą na swoich miejscach. Zmienia się jedna jedyna rzecz: czy bramka trafiła do prefiksu, który ją wygenerował.

Wynik spada do 51.20, z tym samym uporządkowaniem na każdym z siedmiu benchmarków. To 4.94 punktu pod pełną metodą i 2.30 punktu pod wariantem bez żadnej bramki. Zła selektywność szkodzi bardziej niż jej brak — a tego nie wytłumaczy ani skala, ani rozkład wag, bo oba zostały zachowane. Działa wyłącznie przypisanie. Moim zdaniem to mocniejszy dowód na tezę paperu niż sam zysk nad Direct-OPD, bo tamten mógłby pochodzić z centrowania albo z przeskalowania przez 0.8. Ten nie może.

A skąd wiadomo, że krok 600 to dobry Waypoint? Odpowiedź jest rozczarowująco spokojna: dla kroków 500, 600 i 700 średnie wynoszą 56.18, 56.14 i 56.13 — rozstęp pięciu setnych punktu, a wszystkie trzy biją Direct-OPD na każdym benchmarku. Domyślny krok 600 nie jest nawet najlepszy z trzech, co autorzy raportują bez upiększeń.

Bramka zaciska się, im lepszy uczeń

Ten wynik siedzi w appendiksie i jest tam zdecydowanie zbyt cicho.

Średnia bramka spada z 0.810 w pierwszych dwudziestu krokach transferu do 0.683 w ostatnich dwudziestu, a frakcja prefiksów z bramką zerową — czyli całkowicie wyciszonym sygnałem nauczyciela — rośnie z 7.26% do 16.59%. Pod koniec co szósty prefiks nie dostaje od nauczyciela nic.

Zatrzymaj się nad tym. Wszystkie trzy checkpointy nauczyciela są zamrożone, ich wzajemne kąty w danym prefiksie ustalone raz na zawsze. Zmienia się wyłącznie to, gdzie uczeń chodzi. Im lepszy, tym częściej jego trajektorie trafiają w rejony, w których wczesny i późny przyrost nauczyciela kłócą się ze sobą — i tym częściej metoda sama mówi “tutaj go nie słuchaj”. Filtr szumu zachowuje się jak nadzór, który sam wygasa, dokładnie tam, gdzie 4-miliardowy nauczyciel przestaje być wiarygodny dla ucznia kilka razy większego. Paper raportuje te liczby i idzie dalej; ja bym na nich zbudował osobną pracę.

Jest przy tym efekt uboczny, który brzmi jak żart, a nie jest. Dodanie całego dodatkowego przebiegu scoringu przyspieszyło trening: 8 godzin 2 minuty wobec 8 godzin 21 minut, 64.31 wobec 66.81 GPU-godzin. Powód: uczeń generuje krótsze odpowiedzi, a frakcja obciętych na limicie 16 384 tokenów spada z 14.83% do 11.97%. Bramkowanie działa po drodze jak regularyzator długości.

Sceptyczne okulary: co paper przemilcza

Czas zdjąć czapkę kibica.

• Uzasadnienie teoretyczne nie trzyma się własnego przepisu treningowego. Traktowanie ${\delta }_t$ jako nagrody opiera się na wyniku DPO, który wymaga regularyzacji KL w stronę ${\pi }_0$ podczas RL nauczyciela. Tabela 4 podaje dla obu nauczycieli GRPO ze współczynnikiem KL równym 0.0 — przesłanka nie jest więc tylko nieosiągnięta, pod faktyczną konfiguracją nie ma właściwej formy. Autorzy się od niej odcinają, ale nie kupuję tej motywacji: sygnał jest heurystyką, która działa, a nie konsekwencją twierdzenia.
• AIME 2024 jest jednocześnie zbiorem walidacyjnym i raportowanym benchmarkiem. Checkpoint ucznia wybiera się po trafności na AIME 2024, a AIME 2024 wchodzi potem do średniej z siedmiu benchmarków. Co gorsza, checkpointy dla kodu też wybierano po AIME 2024 — benchmark matematyczny selekcjonuje model do zadań programistycznych. Procedura jest ta sama dla wszystkich metod, więc porównanie jest fair — ale bezwzględne poziomy są zawyżone.
• Zero ziaren, zero słupków błędu, jeden przebieg na komórkę. AIME i HMMT mają po około 30 zadań, czyli jedno zadanie waży jakieś 3.3 punktu procentowego, a mean@32 uśrednia szum próbkowania, nie szum doboru zadań. Oba regresy w matematyce — HMMT listopad 2025 dla 14B (47.60 → 47.08) i HMMT luty 2026 dla 30B-A3B (33.05 → 32.77) — są mniejsze niż jedno zadanie, podobnie jak rozstęp 0.05 punktu w ablacji Waypointa. Nawet główny zysk zasługuje tu na słupki błędu, których nie ma.
• Wariant bez bramki wypada poniżej baseliny. 53.50 kontra 53.96, mimo zachowanego centrowania i normalizacji. Brak ablacji “centrowanie bez bramki” czyni dekompozycję zysku niekompletną, co autorzy przyznają wprost.
• Czego paper nie pokazuje w ogóle. Żadnej ablacji po $k$, po $\tau$ ani po granicach przycięcia ${\kappa }_{\mathcal{B}}$. Żadnego wariantu z więcej niż jednym pośrednim checkpointem, chociaż uogólnienie narzuca się samo. Żadnego treningu dłuższego niż 100 kroków. I żadnej analizy, co konkretnie siedzi w prefiksach z bramką zerową — a tam leży cała interpretowalność metody.

Nic z tego paperu nie zatapia. Ale narracja o “dowodzie spójności” jest o pół tonu pewniejsza niż materiał dowodowy: ważenie sygnału zgodnością kierunkową trajektorii nauczyciela pomaga o jeden do dwóch i pół punktu, na jednej rodzinie modeli, przy jednym przebiegu RL na domenę.

Dla kogo to jest?

Dla praktyków

Koszt dodania bramki jest śmiesznie niski: jeden dodatkowy przebieg scoringu zamrożonym checkpointem, zero nowych parametrów, zero zapytań do weryfikatora, ta sama liczba rolloutów. Cały transfer to 100 kroków przy rollout $n=1$ — dwa rzędy wielkości taniej niż 1200 kroków RL przy rollout $n=8$, które ten sygnał wyprodukowały.

Rada organizacyjna, warto ją przeczytać dwa razy: zacznij zapisywać pośrednie checkpointy swoich przebiegów RL. Jeśli masz tylko wagi “przed” i “po” — czyli dokładnie to, co dostajesz, pobierając model z zewnątrz — Waypoint-OPD nie ma na czym pracować. Dobra wiadomość: dokładna pozycja prawie nie ma znaczenia, wystarczy cokolwiek z okolic połowy. Zła: wymagany jest wspólny tokenizer, a wyniki są z jednej rodziny Qwen3.

Dla badaczy

Rok 2026 zamienił “które sygnały destylacji przepuścić” w główne pole bitwy i każda praca wybiera inne kryterium: Prune-OPD pokrycie supportu, EOPD niepewność nauczyciela, PW-OPSD pozycję tokena, OPD2 zgodność znaków, RG-OPD zgodność z weryfikatorem. Waypoint-OPD dorzuca kryterium, którego nikt inny nie użył: własną trajektorię czasową nauczyciela.

Otwarte wątki są wyjątkowo konkretne. Dlaczego nie więcej niż jeden pośredni checkpoint — przy trzech odcinkach dostajesz całą macierz spójności, a checkpointy i tak leżą na dysku. I najciekawsze: co zawierają prefiksy, na których bramka zeruje się pod koniec treningu — czy mierzymy churn RL, czy po prostu rejony, w których uczeń nauczyciela wyprzedził.

Techniczne szczegóły

Dla zaawansowanego czytelnika — trzy rzeczy, które warto wiedzieć przed replikacją.

Centrowanie czyści gradient, i to gratis. Suma współczynników w prefiksie wynosi dokładnie zero, bo ${\sum }_a{q}_t(a)d_t(a)=0$ wprost z definicji centrowania. Konsekwencja jest konkretna:

gdzie:

• $A_t(a)$ — odczepiony współczynnik kandydata z równania (6)
• ${\mathcal{K}}_t$ — support kandydatów, trzymany stały
• $z_b$ — logit ucznia dla tokena $b$ z całego słownika
• $b\in {\mathcal{K}}_t$ — token należący do supportu; dostaje gradient $-A_t(b)$
• $b\notin {\mathcal{K}}_t$ — token spoza supportu; nie dostaje nic
• ${\pi }_{\theta }(a\mid s_t)$ — prawdopodobieństwo ucznia, czyli softmax z logitów $z$

Innymi słowy: w zwykłym gradiencie softmaxu każdy logit dostaje człon przyciągający i wspólny człon odpychający proporcjonalny do ${\pi }_{\theta }(b)$ — to z jego powodu podniesienie jednego tokena obniża wszystkie pozostałe. Tutaj wspólny człon mnoży się przez sumę współczynników, a ta wynosi zero, więc znika; aktualizacja jest chirurgicznie ograniczona do szesnastu tokenów, które uczeń rozważa. Centrowanie weszło do metody po to, by cosinus miał sens, a po drodze zapłaciło za czysty gradient. Wynik jest lokalny: pomija człon KL i nie obiecuje nic o masie prawdopodobieństwa przy współdzielonych parametrach.

Dwa różne epsilony i jedna kolizja oznaczeń. W kodzie żyją $\epsilon =10^{-8}$ jako próg niskiej normy i ${\epsilon }_{\mathrm{num}}\approx 1.18\times 10^{-38}$, najmniejszy dodatni normalny float32, jako podłoga chroniąca dzielenie przy normalizacji skali. Trzydzieści rzędów wielkości między “nie wiem, w którą stronę” a “nie dziel przez zero”. Osobno: stała dual-clip w PPO nazywa się $c$, a cosinus zgodności $c_t$, i paper musiał dopisać, że to różne rzeczy. Dual-clip pochodzi z Ye i in. (2020), czyli z pracy o graniu w MOBA.

Konfiguracja transferu w jednym miejscu. $k=16$, $\tau =0.8$, przycięcie ${\kappa }_{\mathcal{B}}$ do $[0.75,1.5]$, $\beta =2.5$, learning rate $10^{-6}$, batch 256, mini-batch 64, rollout $n=1$, temperatura 1.0, limit odpowiedzi 16 384 tokeny, 100 kroków. W praktyce ${\kappa }_{\mathcal{B}}$ wahał się w $[0.955,1.223]$, czyli ani raz nie dotknął granic przycięcia. Aktualizacja idzie przez dual-clipped PPO, ale to warstwa inżynierska — przy $\theta ={\theta }_{\mathrm{old}}$ clipping jest nieaktywny i gradient wychodzi ten sam. Stos: verl z FSDP, vLLM do rolloutów, jeden węzeł z ośmioma kartami NVIDIA H20.

Ograniczenia

Paper wylicza własne słabości rzeczowo i bez upiększania:

• Wspólny tokenizer to wymóg twardy, nie wygoda. Metoda porównuje prawdopodobieństwa tego samego tokena między modelami, więc nauczyciel i wszyscy trzej uczniowie są z rodziny Qwen3. Zero dowodów na transfer między rodzinami.
• Potrzebujesz checkpointu, którego zwykle nikt nie trzyma. Bez pośredniego zapisu z przebiegu RL metoda nie ma czego porównywać.
• Zgodność kierunkowa to kryterium ważenia, nie gwarancja poprawności. Nic nie wyklucza, że RL konsekwentnie pchało preferencje w złą stronę przez cały trening — taki sygnał dostanie bramkę 1.0.
• Równość punktów końcowych jest punktowa, nie trajektoryjna. Przy ustalonych prefiksach Waypoint nie zmienia transferowanego wektora, ale zmienia aktualizację — więc uczeń odwiedzi dalej inne prefiksy i globalnie trajektorie obu metod się rozchodzą.
• Sto kroków i jeden wybrany checkpoint. Nie wiemy, jak metoda zachowuje się przy dłuższym transferze ani bez selekcji po walidacji.

Podsumowanie

1. Przyrost z RL jest jednoznaczny arytmetycznie, ale wieloznaczny przyczynowo. To samo przesunięcie $d$ może powstać ze stabilnego ruchu w jedną stronę albo z przestrzelenia, które RL potem cofnęło: rozkłady $u=v=d/2$ i $u=2d,v=-d$ sumują się identycznie, a zasługują na skrajnie różne zaufanie.
2. Jeden pośredni checkpoint wystarcza, by je rozdzielić. Ważony cosinus między wczesnym i późnym przesunięciem daje bramkę $g_t=\max (0,c_t)$: zgoda przechodzi proporcjonalnie, odwrócenia są wyciszane do zera, a nieokreślony kierunek nie zmienia nic.
3. Transferowany obiekt się nie zmienia. Równanie (4) gwarantuje $u_t+v_t=d_t$, więc Waypoint wpływa wyłącznie na wagę sygnału, nigdy na jego treść. To nie progressive distillation i nie curriculum.
4. Zysk jest konsekwentny, a koszt niemal zerowy. Od +1.19 do +2.66 punktu średniej domenowej nad najmocniejszą baseliną w sześciu ustawieniach, przy jednym dodatkowym przebiegu scoringu, zerze nowych parametrów i — co nadal mnie rozbawia — krótszym czasie treningu.
5. Najmocniejszym wynikiem jest kontrola, nie nagłówek. Przetasowanie bramek daje 51.20, czyli 2.30 punktu poniżej wariantu bez bramki, przy zachowanym rozkładzie, średniej i ${\kappa }_{\mathcal{B}}$. Skoro nie skala i nie rozkład, zostaje przypisanie — i to cały dowód, że metoda mierzy coś realnego.

Najtańsza informacja w całym pipeline RL to ta, którą i tak zapisujemy na dysk, a potem rutynowo usuwamy przy porządkach.

📎 Linki

• Na podstawie publikacji 📄 arXiv:2610.21601