Aktywna selekcja modeli oparta na konsensusie – CODA

Artykuł „Consensus-Driven Active Model Selection” przedstawia metodę CODA, która umożliwia wybór najlepszego modelu ML spośród wielu kandydatów przy użyciu minimalnej liczby etykiet. CODA wykorzystuje zgodność i rozbieżność między modelami, by określić, które dane warto oznaczyć.

🚀 Kluczowe koncepcje

• Aktywna selekcja modeli: zamiast pełnego zbioru walidacyjnego, CODA wybiera punkty danych, których etykiety przyniosą najwięcej informacji.
• Modelowanie konsensusu: wykorzystuje zmodyfikowany model Dawid-Skene z wnioskowaniem Bayesowskim do oceny wydajności modeli.
• Rozkład PBest: opisuje bieżące przekonanie, który model jest najlepszy; aktualizowany po każdej nowej etykiecie.

🧪 Jak działa CODA?

1. Zbierane są predykcje modeli na nieoznaczonych danych.
2. Obliczany jest konsensus etykiety na podstawie predykcji wszystkich modeli.
3. Każdy model dostaje priory rozkładu błędów (macierz pomyłek) typu Dirichleta: $${\theta }_{k,c,c^{\prime }}=\frac{{\beta }_{c,c^{\prime }}+\alpha {\hat{M}}_{k,c,c^{\prime }}}{T}$$
4. CODA aktualizuje rozkład prawdopodobieństwa najlepszego modelu: $$PBest(h_k)={\int }_0^1{f}_k(x)\prod _{l\ne k}{F}_l(x)dx$$
5. Kolejny punkt do etykietowania wybierany jest poprzez maksymalizację oczekiwanej informacji: $$EIG(x_i)=H(PBest)-\sum _c\hat{\pi }(c\mid x_i)H(PBes{t}^c)$$

📊 Wyniki

• CODA wygrywa z konkurencją w 18 z 26 zadań benchmarkowych.
• Osiąga wybór optymalnego modelu przy do 70% mniejszej liczbie etykiet.
• Szczególnie skuteczna w zadaniach wieloklasowych (np. DomainNet, WILDS).

❗ Ograniczenia

• W zadaniach binarnych z dużą nierównowagą danych CODA może działać słabiej (np. CivilComments, CoLA).
• Skuteczność zależy od trafności konsensusu między modelami.

🔮 Kierunki rozwoju

• Lepsze priory, np. z wiedzy eksperckiej lub cech nienadzorowanych.
• Rozszerzenie na zadania inne niż klasyfikacja.
• Integracja z frameworkami active learning/testing.

Linki

• Na podstawie publikacji 📄 arXiv:2507.23771 PDF