Badania Naukowe

W uczeniu maszynowym spodziewamy się, że model albo się nauczy, albo przeucza. Czego się nie spodziewamy, to żeby model najpierw się przeuczył, a potem — dużo później, bez żadnych zmian — nagle zaczął dobrze generalizować. To zjawisko nazywa się grokking i intryguje badaczy od momentu odkrycia. Nowa publikacja wreszcie wyjaśnia dlaczego to się dzieje i dowodzi tego matematycznie — w najprostszym możliwym ustawieniu. Czym jest grokking? Grokking został po raz pierwszy zaobserwowany w 2022 roku na małych zadaniach algorytmicznych (jak arytmetyka modularna). Wzorzec jest uderzający: ...

Wyobraź sobie, że masz w ręku armię pomocników – kilku różnych dużych modeli językowych (LLM) – każdy z nich może pomóc w rozwiązywaniu zadania: od prostych pytań po wieloetapowe rozumowanie. Tylko że każdy pomocnik „kosztuje”: czas, energię, a czasem też dolary z budżetu API. Czy da się to wszystko ułożyć taktownie – tak, by korzystać z najtańszego wystarczającego modelu, a w razie potrzeby „podbić” mocniejszy – i jednocześnie nie przekroczyć budżetu? ...