· 5 min czytania
To Grok Grokking: Dlaczego sieci neuronowe czasem rozumieją z opóźnieniem
Grokking pojawia się już w regresji grzbietowej: dowód trzech faz treningu pokazuje, że opóźnienie generalizacji skaluje się jak 1/λ i steruje nim weight decay.