Welcome to ImgToVid AI

or
🎁Get 5 free credits after sign in

SeedWorld: un modello del mondo nell’IA

SeedWorld è un modello del mondo. Conserva una descrizione appresa di una scena e prevede come quella scena cambia quando qualcosa agisce: un passo, una rotazione di camera, una presa, una frenata. I modelli del mondo pubblici si presentano così, dai World Models di Ha e Schmidhuber del 2018 e da Dreamer fino a Genie, Cosmos e V-JEPA. Qui SeedWorld è descritto in quella lingua. Lo stato successivo dipende dall’azione, non solo dal fatto che il fotogramma successivo sembri plausibile.

SeedWorld come modello del mondo, illustrato da un disegno che diventa una cittadina costiera
Un disegno che diventa un luogo. SeedWorld si occupa di tenere quel luogo coerente quando cambiano il punto di vista e gli oggetti.

01 — Il modello

SeedWorld prevede lo stato successivo

Un modello del mondo costruisce una rappresentazione interna di un ambiente e la usa per prevedere come quell’ambiente cambia. L’ingresso utile è una scena insieme a un’azione. SeedWorld è un modello di quel tipo: l’azione fa parte della domanda, e la risposta è lo stato successivo della scena.

I modelli linguistici prevedono la parola successiva. I generatori video prevedono, da un prompt, una sequenza di pixel plausibile. L’articolo World Models del 2018, e poi Dreamer, trattano il modello come un simulatore compatto che si può far proseguire nell’immaginazione. SeedWorld si presenta con quella definizione. Non è un generatore di clip che per caso mostra del movimento.

La letteratura pubblica si avvicina alla stessa definizione da tre direzioni. La descrizione di SeedWorld prende tutte e tre:

  • Dinamica latente. World Models di Ha e Schmidhuber, PlaNet e Dreamer imparano un piccolo stato nascosto e una transizione in quello stato. Un agente può pianificare lì prima di agire fuori dal modello. SeedWorld usa questa idea di uno stato compatto che si può far proseguire, invece di trattare ogni pixel come lo stato.
  • Video condizionato dall’azione. La serie Genie di DeepMind impara ambienti interattivi dal video, così un tasto o un movimento di camera cambia i fotogrammi successivi. NVIDIA Cosmos è costruito come modelli fondazionali del mondo per scene fisiche: guida, robot e industria. L’uscita visibile di SeedWorld si legge allo stesso modo: fotogrammi che devono seguire l’azione.
  • Una rappresentazione, non solo pixel. L’architettura predittiva a embedding congiunti di Yann LeCun, e V-JEPA di Meta, prevedono la rappresentazione astratta successiva di un video invece di ricostruire ogni pixel. SeedWorld condivide quel giudizio: molto dettaglio dei pixel non decide che cosa succede dopo.

La prova rispetto a cui si scrive SeedWorld

Un video convincente può comunque ignorare l’azione. Un muro di mattoni e un muro dipinto possono sembrare uguali se un modello si limita ad accostare le texture. I lavori sui modelli del mondo usano una prova più stretta, ed è quella di SeedWorld: se l’azione cambia, il futuro cambia nel modo corrispondente? La permanenza degli oggetti, il contatto, la gravità e la pianta di una stanza ne fanno parte. Sembrare reale non è tutta la descrizione.

Previsione fisica di SeedWorld, illustrata con una sfera di vetro, acqua e profondità
La previsione fisica di SeedWorld riguarda massa, contatto e luce, non solo un bel fotogramma successivo.

02 — Che cosa prevede

Quattro parti della descrizione di SeedWorld

Sono le domande con cui si descrivono gli altri modelli del mondo. Sono anche quelle con cui si descrive SeedWorld.

Uno stato, latente o visibile

Alcuni modelli del mondo prevedono i pixel successivi. Altri comprimono la scena e prevedono lo stato latente, che è il modo in cui Dreamer fa proseguire il futuro. SeedWorld è descritto come entrambe le cose: uno stato che si può continuare e fotogrammi che una persona può guardare. Ciò che si prevede è lo stato. Il fotogramma è un modo di vederlo.

Un’azione da cui dipende il futuro

Nei modelli in stile Genie l’azione può essere un tasto o una posa di camera. Nei lavori su guida e robotica può essere una traiettoria o un comando articolare. SeedWorld prende l’azione come ingresso nello stesso senso. La stessa storia con due azioni diverse sono due domande, e i futuri previsti devono divergere.

Memoria quando la vista si sposta

Un fotogramma non conserva una mappa. I modelli video più deboli inventano un’altra stanza quando la camera si volta. I modelli del mondo orientati all’esplorazione si discutono in termini di permanenza degli oggetti: impronte, una porta aperta, una cassa spostata. SeedWorld è descritto con quella memoria. Ciò che era dietro la camera fa parte dello stato.

Fisica imparata dai dati

Un motore di gioco scrive massa, attrito e collisione come regole. I modelli del mondo imparati, compresi quelli addestrati per scene fisiche in stile Cosmos, raccolgono quelle regolarità da video, registri di robot o dati di guida. SeedWorld sta da quella parte. Può coprire scene che nessuno ha elencato e, come altri modelli imparati, inventare un contatto che non è mai avvenuto.

Previsione
Lo stato successivo della scena, continuato come stato latente e mostrato come fotogrammi
Condizione
Un’azione sopra l’osservazione attuale: un movimento, un cambio di camera, una traiettoria o una presa
Svolgimento
Lo stato previsto viene rimesso dentro, così il futuro continua oltre un passo
Che cosa si controlla
Se l’azione cambia il futuro, se gli oggetti restano e se il contatto resta plausibile

03 — Le previsioni

Previsioni che si chiedono a SeedWorld

Memoria spaziale di SeedWorld, illustrata da un sentiero innevato e da vetro dopo che il punto di vista si è mosso
Voltarsi è uno dei controlli. SeedWorld deve ancora sapere che cosa c’era dietro la camera.

Il meteo su una superficie

Da un cortile asciutto di ciottoli, il cambiamento è «inizia a piovere». Un modello video può dipingere strisce sul fotogramma. SeedWorld risponde anche del fatto che le pietre si scuriscano, che l’acqua si raccolga nei punti bassi e che la luce cominci a riflettersi sul suolo bagnato.

Un oggetto e una causa

In un laboratorio, l’azione è spingere una cassa pesante giù dal banco. SeedWorld deve continuare la traiettoria della cassa, il rimbalzo e ciò che la cassa colpisce. Guardare di nuovo la porta deve mostrare la stessa stanza. È il controllo di permanenza degli oggetti usato per altri modelli del mondo esplorabili.

Tre scene, lette come prove

Un luogo e il suo meteo

Scena: Una biblioteca su una scogliera, porte di vetro aperte su una pineta innevata.

Che cosa SeedWorld deve azzeccare: Dopo essere usciti e essersi voltati, le impronte e la stanza lasciata concordano ancora con il percorso.

Contatto tra oggetti

Scena: Un tavolo di vetro, una tazza di ceramica e una brocca d’acqua.

Che cosa SeedWorld deve azzeccare: Una spinta muove la tazza e non il tavolo, e ciò che si versa segue la superficie.

Una strada e un veicolo

Scena: Un incrocio cittadino bagnato al crepuscolo, con traffico e un robot di consegna.

Che cosa SeedWorld deve azzeccare: Due azioni di sterzo diverse producono due futuri che un guidatore riconoscerebbe come distinti.

04 — Il contesto

I contesti in cui si scrivono i modelli del mondo

Un robot umanoide su un attraversamento bagnato, il tipo di scena quando si parla di modelli del mondo per le macchine
I lavori su robot e guida usano un futuro previsto perché una macchina possa considerare un’azione prima di compierla. SeedWorld è descritto in quel contesto.

Scene che una persona può guardare

  • Ambienti interattivi. I modelli in stile Genie trasformano il video in un luogo che risponde ai tasti o al movimento della camera. Le scene di SeedWorld sono descritte in quel registro: i fotogrammi successivi sono una risposta, non una clip finita che si riproduce.
  • Muoversi in una disposizione. Un’altra linea di modelli del mondo parte da un’immagine o da una breve descrizione e cerca di tenere stabile la disposizione mentre un punto di vista si muove. SeedWorld è descritto come chi tiene quella disposizione nel suo stato.
  • Più agenti in una scena. Se agisce più di un agente, ogni futuro previsto deve includere i cambiamenti causati dagli altri. Lo stato di SeedWorld è condiviso in quel senso: una scena, più di un’azione.
  • Un’inquadratura considerata prima di costruirla. Il cinema blocca già le scene in un 3D grezzo. Un modello del mondo imparato si discute lì quando luce, meteo e movimenti di camera restano coerenti da una continuazione all’altra. Quella coerenza fa parte di come si descrive SeedWorld.

Futuri che una macchina può far proseguire

  • Immaginazione, come in Dreamer. Dreamer aggiorna il comportamento su svolgimenti previsti. Lo svolgimento di SeedWorld è lo stesso oggetto: un futuro che continua dentro il modello, prima di parlare di un’azione al di fuori.
  • Scene di guida rare. I dati di guida registrati rappresentano poco ghiaccio, abbagliamento e qualcuno che esce all’improvviso. I modelli del mondo sono studiati come un modo per continuare quelle scene. Le previsioni di strada di SeedWorld si leggono secondo quell’uso: il movimento deve seguire l’azione.
  • Confrontare le alternative. Il controllo predittivo campiona molte sequenze di azioni e fa proseguire ciascuna. SeedWorld è il modello che fornirebbe quegli stati successivi. La pagina non descrive un controllore costruito sopra.

05 — Accanto ad altri sistemi

SeedWorld accanto ad altri tipi di sistemi

Questi sistemi possono tutti mostrare una scena in movimento. Rispondono a domande diverse. La colonna SeedWorld prevede uno stato successivo dopo un’azione specifica.

Simulatore scritto a manoGeneratore videoPredittore di rappresentazioniSeedWorld
Che cosa prevedeLo stato successivo da una fisica scrittaUna sequenza di pixel plausibileL’embedding successivo della scenaLo stato successivo della scena dopo un’azione specifica
Da dove vengono le regoleEquazioni e codice di collisioneStatistiche del video di addestramentoUno spazio di embedding imparatoRegolarità imparate, alla maniera degli altri modelli del mondo
L’azione cambia il futuro?Sì, attraverso le regole scritteSolo se il prompt viene riscritto e la clip rigenerataSì, nello spazio delle rappresentazioniSì. Quella risposta è ciò per cui sta SeedWorld
Che cosa si può guardareUna scena 3D renderizzataUn videoDi solito niente di visivoFotogrammi, e lo stato da cui vengono
Come se ne parlaGiochi e sandbox roboticheUn’inquadratura finitaPianificazione e comprensione videoCome modello del mondo: l’immaginazione dello stato successivo

06 — Un passo

Come SeedWorld forma una previsione

  1. 01

    Leggere l’osservazione attuale

    Un fotogramma, un video breve, una mappa di profondità o lo stato latente già portato. SeedWorld tratta questo come adesso.

  2. 02

    Prendere l’azione come condizione

    L’azione è un ingresso, come per Genie, per i modelli del mondo della guida e per V-JEPA condizionato dall’azione. Due azioni dalla stessa osservazione sono due domande.

  3. 03

    Prevedere lo stato successivo

    SeedWorld prevede lo stato successivo e può rimettere dentro quella previsione. Una continuazione lunga è dove memoria e fisica imparata reggono o si sfaldano.

07 — Domande

Domande su SeedWorld

Che tipo di modello è SeedWorld?

SeedWorld è un modello del mondo. Prevede come cambia una scena dopo un’azione. È la definizione usata per Dreamer, per Genie e per gli altri modelli condizionati dall’azione: lo stato successivo dipende da ciò che è stato appena fatto.

SeedWorld è un generatore video?

No. Un generatore video campiona una clip che sembra plausibile. SeedWorld è descritto secondo se il futuro segue l’azione. Una clip realistica senza azione nell’ingresso è un video. La previsione di SeedWorld include l’azione.

In che cosa SeedWorld differisce da un motore di gioco?

Un motore di gioco fa avanzare una scena con regole scritte: collisione, gravità, materiali. SeedWorld, come gli altri modelli del mondo imparati, raccoglie quelle tendenze dai dati. I motori sono esatti dentro le regole che hanno. Un modello imparato può coprire scene che nessuno ha sceneggiato, e può anche sbagliare.

Perché citare V-JEPA e gli stati latenti?

V-JEPA prevede una rappresentazione dell’istante successivo invece di ogni pixel, perché molto dettaglio dei pixel non cambia la decisione. SeedWorld è descritto con uno stato latente per la stessa ragione. I fotogrammi sono una vista di quello stato, non un sostituto.

Che cos’è uno svolgimento per SeedWorld?

SeedWorld prevede un passo, tratta quella previsione come il nuovo presente e prevede di nuovo. Dreamer e il controllo predittivo usano futuri immaginati di questo tipo per confrontare azioni diverse. Lo svolgimento fa parte del modello, non è un passo di prodotto separato.

Perché SeedWorld dimenticherebbe una stanza?

Un fotogramma mostra solo ciò che la camera vede adesso. Senza una memoria di oggetti e disposizione, il fotogramma successivo può inventare un nuovo sfondo. La coerenza su un lungo orizzonte è un problema aperto dei modelli del mondo in generale, e uno dei controlli applicati a SeedWorld.

Che cosa non è SeedWorld?

SeedWorld non è un motore fisico scritto a mano, e non è un modello da prompt a video. Non è nemmeno descritto qui come qualcosa da far funzionare, a cui abbonarsi o da collegare a un altro sistema. La pagina dice solo che tipo di modello è, con i termini già usati per gli altri modelli del mondo.

SeedWorld è un modello dello stato successivo

SeedWorld prende la scena e l’azione e prevede che cosa diventa la scena. Generatori video, motori di gioco e modelli di rappresentazione rispondono ciascuno a una domanda vicina. La domanda che mette SeedWorld insieme agli altri modelli del mondo è l’azione: il futuro ne dipende.