SNOO – stary dobry Nesterov w nowym wydaniu, czyli jak przyspieszyć uczenie dużych modeli
Wyobraź sobie, że trenujesz ogromny model językowy – taki, który potrzebuje tygodni na nauczenie się podstawowych rzeczy. Każdy krok treningu kosztuje mnóstwo czasu i energii. W takiej sytuacji nawet drobna poprawa wydajności to jak znalezienie sposobu na darmową kawę w pracy – niby mała rzecz, a cieszy. I tu pojawia się SNOO – Step-K Nesterov Outer Optimizer, czyli pomysł, że momentum Nesterova, znane od lat w świecie optymalizacji, można sprytnie zastosować „na zewnątrz” zwykłego treningu. Efekt? Modele uczą się szybciej i stabilniej, a obliczenia nie rosną drastycznie. ...