Artykuły z tagiem

Pretrening

1 artykuł

4 min czytania

OPUS: Jak Trenować LLM 6x Szybciej Wybierając Właściwe Dane

OPUS wybiera dane w każdej iteracji pretreningu: Qwen3-8B na 0,5B tokenów bije pełny trening na 3B, a narzut to 4,7% dzięki ghost gradients i CountSketch.

AILLMUczenie Maszynowe