World Models

Nie umiesz namalować fotorealistycznego obrazu spadającego kubka. Serio, spróbuj — odbicia światła na szkliwie, rozmycie ruchu, cień na blacie. A mimo to złapiesz ten kubek, zanim dotknie podłogi, i to bez zastanowienia. Twój mózg nie renderuje pikseli przyszłości. On utrzymuje stan świata: kubek, krawędź, grawitacja, za sekundę będzie za późno. Tymczasem AI od lat idzie w drugą stronę. LLM-y przewidują następny token, generatory wideo malują następną klatkę piksel po pikselu, modele VLA (vision-language-action) przewidują następną komendę silnika robota. Trzy rodziny modeli, trzy cele treningowe, trzy osobne, niekompatybilne obrazy tego samego fizycznego świata. ...

Co by było, gdyby można było przelecieć wirtualną kamerą przez dowolną ulicę prawdziwego miasta — nie w silniku gry, nie z nagrania, ale z wygenerowanego na żywo, fotorealistycznego obrazu opartego na prawdziwych zdjęciach ulicznych? Dokładnie to robi Seoul World Model (SWM). Publikacja “Grounding World Simulation Models in a Real-World Metropolis” przedstawia model świata model świata Sieć neuronowa, która uczy się dynamiki i wyglądu środowiska, pozwalając ‘wyobrażać sobie’ nowe widoki i trajektorie, których nigdy bezpośrednio nie widziała. działający w skali całego miasta, zakotwiczony w realnej geografii — nie w wymyślonych scenach. ...