Uczenie ze wzmocnieniem (RL) zyskało ogromną popularność dzięki zdolności do autonomicznego uczenia się przez agentów działania w złożonych środowiskach. Ale co się dzieje, gdy agent nie może pozwolić sobie na błędy — bo błąd oznacza np. awarię maszyny, kolizję auta lub przekroczenie limitu zużycia energii?

W takich przypadkach stosujemy uczenie ze wzmocnieniem z ograniczeniami (Constrained RL), w którym agent musi maksymalizować nagrodę, jednocześnie nie przekraczając określonych kosztów lub ryzyk. Niestety — jak pokazuje praktyka — agenci uczący się w takich warunkach często stają się… zbyt ostrożni. A to prowadzi do kiepskich wyników.

Nowe podejście: ORAC

W publikacji “Optimistic Exploration for Risk-Averse Constrained RL” zaproponowano metodę ORAC – Optimistic Risk-Averse Actor-Critic. Główna idea? Połączyć odważną eksplorację z rozważnym przestrzeganiem ograniczeń.

Jak to działa?

  • ORAC używa dwóch mechanizmów:

    • Optymistyczna eksploracja — poprzez maksymalizowanie górnej granicy wartości nagrody (Upper Confidence Bound).
    • Ostrożność — poprzez minimalizowanie dolnej granicy kosztu (Lower Confidence Bound).

  • Dodatkowo, model dynamicznie dostosowuje wagę kary za naruszenie ograniczenia:

    • Jeśli agent zbliża się do niebezpiecznego poziomu kosztu — model “przykręca śrubę”.
    • Jeśli wszystko idzie dobrze — pozwala na więcej swobody.

Przykład

Wyobraź sobie robota, który ma:

  • Dostarczać paczki jak najszybciej (nagroda),
  • Ale nie może się zderzyć z przeszkodami (koszt).

ORAC pozwala robotowi uczyć się takiej polityki, która nie gra zbyt zachowawczo, ale też nie ryzykuje kolizji.

Wyniki

Testy przeprowadzono na środowiskach:

  • Safety-Gymnasium — klasyczne zadania z RL z ograniczeniami.
  • CityLearn — zarządzanie zużyciem energii w budynkach.

ORAC uzyskuje lepszy kompromis między efektywnością a bezpieczeństwem niż istniejące metody. Nie tylko przestrzega ograniczeń, ale też dostarcza wyższe nagrody.

Co dzieje się pod maską?

  • Model wykorzystuje estymatory UCB/LCB oparte na wariancji i obserwacjach.
  • Aktor i krytyk uczą się równolegle, ale w oparciu o różne kryteria eksploracji.
  • Algorytm jest stabilizowany przez gradienty opóźnione i target networks.

Wnioski

ORAC to świetny przykład nowoczesnego podejścia do uczenia maszynowego w kontekście realnych systemów, które muszą być zarówno skuteczne, jak i bezpieczne. Pokazuje, że można lepiej balansować eksplorację i ograniczenia niż przez sztywne reguły.

Linki