Czy można usprawnić pracę call center za pomocą sztucznej inteligencji? Artykuł „Optimising Call Centre Operations using Reinforcement Learning: Value Iteration versus Proximal Policy Optimisation” autorstwa Kwong Ho Li i Wathsala Karunarathne pokazuje, że tak — i to z dużym sukcesem. Autorzy badają dwa podejścia do uczenia ze wzmocnieniem (RL) w kontekście optymalizacji procesu kierowania połączeń: klasyczne Value Iteration (VI) i nowoczesne Proximal Policy Optimisation (PPO).

Czym jest uczenie ze wzmocnieniem?

Uczenie ze wzmocnieniem to dziedzina AI, w której agent podejmuje decyzje w środowisku, otrzymując nagrody za dobre działania. Celem jest maksymalizacja sumy nagród — w praktyce: optymalizacja decyzji.

W kontekście call center agentem jest system kierujący połączenia do pracowników, a środowiskiem — całe centrum obsługi klienta. Celem jest szybka obsługa klientów i maksymalne wykorzystanie pracowników.

Porównywane podejścia

Value Iteration (VI) to klasyczne podejście oparte na znajomości pełnego modelu środowiska. Wymaga dokładnej znajomości dynamiki systemu (np. prawdopodobieństw przyjścia klientów). Dzięki temu może precyzyjnie wyliczyć optymalną politykę decyzji.

Proximal Policy Optimisation (PPO) to nowoczesna metoda typu model-free — nie potrzebuje znajomości dynamiki. Uczy się optymalnej polityki przez próby i błędy w symulowanym środowisku.

Symulacja i środowisko

Autorzy stworzyli środowisko call center w oparciu o Discrete Event Simulation i OpenAI Gym. Model uwzględniał:

  • różne typy klientów i agentów (skills-based routing),
  • czasy przychodzenia klientów jako proces Poissona,
  • czasy obsługi i porzucania jako zmienne wykładnicze.

Wyniki

Po serii symulacji PPO osiągnęło najlepsze wyniki:

  • najmniejsze czasy oczekiwania klientów,
  • najmniej bezczynności pracowników,
  • najwyższe nagrody RL.

Choć VI działa dobrze, PPO lepiej radzi sobie z nieznanym środowiskiem i jest bardziej elastyczne.

Wnioski

Nowoczesne techniki RL, takie jak PPO, pozwalają znacząco poprawić funkcjonowanie call center. To realny przykład zastosowania AI w automatyzacji procesów biznesowych — nie tylko teoria, ale też praktyczna korzyść.

Linki