· 13 min czytania
SWE-Explore: Benchmark oceniający jak agenci kodujący eksplorują repozytoria
SWE-Explore izoluje eksplorację repozytorium od generowania patchy - 848 issue'ów, 10 języków, 203 repozytoria. Benchmark ujawnia, że agenci świetnie znajdują właściwe pliki, ale fatalnie celują na poziomie linii kodu, a efektywność kontekstu koreluje z resolve rate na poziomie r = 0.950.