Uczenie przez wzmacnianie (RL) pozwala agentom uczyć się zachowań na podstawie sygnałów nagrody. Jednak w zadaniach wymagających rozumowania długiego łańcucha decyzji pojawiają się dwa główne wyzwania:

Problem “near-miss” – jeden błąd na końcu rozumowania unieważnia cały ciąg kroków.
Stagnacja eksploracji – agent zbyt długo powtarza znane ścieżki, nie odkrywając nowych strategii.

Artykuł StepHint: Multi-level Stepwise Hints Enhance Reinforcement Learning to Reason prezentuje metodę pod nazwą StepHint, która dostarcza agentowi wielopoziomowe wskazówki krokowe, wspierając zarówno początkujących, jak i zaawansowanych użytkowników.

Intuicyjny przykład: labirynt

Wyobraź sobie agenta w labiryncie, który szuka skarbu. Bez wskazówek będzie eksplorował losowo:

Najczęściej wraca tam, gdzie już był (stagnacja).
Gdy prawie dochodzi do wyjścia, ale się cofa, traci cały postęp (near-miss).

Dzięki wskazówkom krokowym od razu dowiaduje się, że po trzecim zakręcie należy skręcić w prawo. Krótsze łańcuchy decyzji oznaczają mniej błędów i szybsze uczenie.

Jak działa StepHint?

1. Adaptacyjne partycjonowanie rozumowania

Model traktuje łańcuch rozumowania jako sekwencję tokenów. Wskaźnik zakończenia kroku wylicza się jako

p_{end} (t) = p (</think> ∣ prefix do t),

a następnie wybiera te miejsca, w których spada ta szansa: $p_{end} (t) > p_{end} (t + 1)$ . Dzięki temu odkrywamy potencjalne punkty końcowe kroków, zachowując minimalną odległość między nimi.

2. Wielopoziomowe wskazówki

Dla każdego łańcucha rozumowania generowane są wskazówki na różnych poziomach: od bardzo ogólnych (np. pierwszy krok) po niemal pełne rozwiązanie. Model wybiera poziom, który najlepiej balansuje między:

nadmierną kontrolą (przekształceniem w nadzorowane uczenie),
zbyt słabym wsparciem (ponownym near-miss).

Formalizm matematyczny

Cały proces to eksploracja przestrzeni rozwiązań $R$ . W dowolnym stanie po $k$ tokenach mamy entropię kondycyjną:

H (R ∣ S_{k}) = - r \in R \sum p (r ∣ S_{k}) lo g p (r ∣ S_{k}),

która pokazuje, jak bardzo agent jest niepewny swoich dalszych kroków.

Optymalizacja polityki

Proximal Policy Optimization (PPO)

PPO maksymalizuje cel:

L_{θ}^{PPO} = \frac{1}{N} \sum_i = 1^{N} \sum_t = 1^{∣ y_i ∣} min (r_i, t \hat{A}_i, t, \dots) - β D_KL (\dots)

gdzie $r_{i, t} = \frac{π _{θ} ( y _{i, t} ∣ \cdot )}{π _{old} ( y _{i, t} ∣ \cdot )}$ oraz $\hat{A}_{i, t}$ to zaleta z uogólnionej estymacji przyrostu (GAE).

Group Relative Policy Optimization (GRPO)

GRPO upraszcza obliczenia, definiując zastępczą zaletę:

\hat{A}_{i, t}^{GRPO} = \frac{R ( y _{i} ) - mean ( R )}{std ( R )},

gdzie $R (y_{i}) \in {0, 1}$ to zwrot z całego łańcucha, eliminując potrzebę krytyka.

Podsumowanie

StepHint to potężne narzędzie, które:

redukuje błędy near-miss,
przyspiesza konwergencję,
poprawia generalizację w zadaniach zarówno w domenie matematyki, jak i poza nią.

Dzięki połączeniu adaptacyjnego partycjonowania i wielopoziomowych wskazówek, agenty uczą się efektywniej i bardziej niezawodnie, nawet w skomplikowanych zadaniach rozumowania.

📎 Linki

Na podstawie publikacji 📄 arXiv:2507.02841

Wielopoziomowe wskazówki krokowe w uczeniu przez wzmacnianie