Aktywna selekcja modeli oparta na konsensusie – CODA
Artykuł „Consensus-Driven Active Model Selection” przedstawia metodę CODA, która umożliwia wybór najlepszego modelu ML spośród wielu kandydatów przy użyciu minimalnej liczby etykiet. CODA wykorzystuje zgodność i rozbieżność między modelami, by określić, które dane warto oznaczyć. 🚀 Kluczowe koncepcje Aktywna selekcja modeli: zamiast pełnego zbioru walidacyjnego, CODA wybiera punkty danych, których etykiety przyniosą najwięcej informacji. Modelowanie konsensusu: wykorzystuje zmodyfikowany model Dawid-Skene z wnioskowaniem Bayesowskim do oceny wydajności modeli. Rozkład PBest: opisuje bieżące przekonanie, który model jest najlepszy; aktualizowany po każdej nowej etykiecie. 🧪 Jak działa CODA? Zbierane są predykcje modeli na nieoznaczonych danych. Obliczany jest konsensus etykiety na podstawie predykcji wszystkich modeli. Każdy model dostaje priory rozkładu błędów (macierz pomyłek) typu Dirichleta: $$ \theta_{k, c, c’} = \frac{\beta_{c, c’} + \alpha \hat{M}_{k, c, c’}}{T} $$ CODA aktualizuje rozkład prawdopodobieństwa najlepszego modelu: $$ PBest(h_k) = \int_0^1 f_k(x) \prod_{l \ne k} F_l(x) dx $$ Kolejny punkt do etykietowania wybierany jest poprzez maksymalizację oczekiwanej informacji: $$ EIG(x_i) = H(PBest) - \sum_c \hat{\pi}(c \mid x_i) H(PBest^c) $$ 📊 Wyniki CODA wygrywa z konkurencją w 18 z 26 zadań benchmarkowych. Osiąga wybór optymalnego modelu przy do 70% mniejszej liczbie etykiet. Szczególnie skuteczna w zadaniach wieloklasowych (np. DomainNet, WILDS). ❗ Ograniczenia W zadaniach binarnych z dużą nierównowagą danych CODA może działać słabiej (np. CivilComments, CoLA). Skuteczność zależy od trafności konsensusu między modelami. 🔮 Kierunki rozwoju Lepsze priory, np. z wiedzy eksperckiej lub cech nienadzorowanych. Rozszerzenie na zadania inne niż klasyfikacja. Integracja z frameworkami active learning/testing. Linki Na podstawie publikacji 📄 arXiv:2507.23771 PDF