Can the effectiveness of an advertising system be improved by almost 10% simply by tuning the weights in the ranking function better?
It turns out the answer is yes – and that’s exactly what the paper Deep Reinforcement Learning for Ranking Utility Tuning in the Ad Recommender System at Pinterest (arXiv:2509.05292) is about.

Idea w skrócie / Idea in Brief

PL:
Ranking reklam to funkcja utility, czyli liniowa kombinacja predykcji (CTR, konwersja, itd.).
Pinterest proponuje, aby zamiast ręcznie stroić wagi, uczyć się ich automatycznie poprzez reinforcement learning (RL).

EN:
Ad ranking is based on a utility function, a linear combination of predictions (CTR, conversion, etc.).
Pinterest proposes to replace manual tuning of weights with automatic learning through reinforcement learning (RL).

Architektura DRL-PUT / DRL-PUT Architecture

1. Reprezentacja stanu / State Representation

PL:
Stan $s$ zawiera cechy użytkownika, kontekstu i zapytań reklamowych.

EN:
The state $s$ includes user features, contextual information, and ad request attributes.

2. Polityka / Policy Network

PL:
Sieć ${\pi }_{\theta }(a|s)$ przewiduje optymalne wagi $w$:

gdzie $f_i(x)$ to predykcje modeli (np. CTR).

EN:
The network ${\pi }_{\theta }(a|s)$ predicts optimal weights $w$:

where $f_i(x)$ are model predictions (e.g., CTR).

3. Nagroda / Reward

PL:
Nagrodą jest CTR, LC-CTR lub złożone metryki biznesowe. Obliczane są z logów online.

EN:
The reward is CTR, LC-CTR, or composite business metrics. These are computed from online logs.

4. Trening / Training

PL:
DRL-PUT używa direct policy learning, bez uczenia wartości $Q(s,a)$.
Gradienty polityki aktualizują parametry sieci.

EN:
DRL-PUT uses direct policy learning, without estimating $Q(s,a)$.
Policy gradients are used to update the network parameters.

Wyniki / Results

PL:

• CTR wzrosło o 9,7%,
• LC-CTR o 7,7%.

EN:

• CTR improved by 9.7%,
• LC-CTR by 7.7%.

Matematyka w tle / Math Behind the Scenes

PL:
Problem jako proces decyzyjny Markowa:

• $s_t$ – stan,
• $a_t$ – akcja,
• $r_t$ – nagroda.

Celem jest:

Aktualizacja parametru:

EN:
The problem as a Markov decision process:

• $s_t$ – state,
• $a_t$ – action,
• $r_t$ – reward.

Objective:

Parameter update:

Podsumowanie / Conclusion

PL:
DRL-PUT to przykład, jak RL rozwiązuje realny problem w reklamach online. Personalizacja, elastyczność i brak ręcznego strojenia dają przewagę.

EN:
DRL-PUT is an example of how RL solves a real-world problem in online advertising. Personalization, flexibility, and the removal of manual tuning give it a strong advantage.

👉 PL dla amatorów: To jak inteligentny termostat – sam ustawia najlepszą temperaturę.
👉 EN for beginners: Think of it like a smart thermostat – it sets the best temperature by itself.

👉 PL dla zaawansowanych: To dowód, że policy gradient methods działają na dużą skalę w systemach biznesowych.
👉 EN for experts: This is proof that policy gradient methods can work at large scale in sensitive business systems.