SeedWorld: um modelo de mundo de IA
SeedWorld é um modelo de mundo. Guarda uma descrição aprendida de uma cena e prevê como essa cena muda quando algo age: um passo, um giro de câmara, uma pega, uma travagem. Os modelos de mundo públicos apresentam-se assim, dos World Models de Ha e Schmidhuber de 2018 e do Dreamer até Genie, Cosmos e V-JEPA. Aqui o SeedWorld é descrito nessa língua. O estado seguinte depende da ação, não apenas de o fotograma seguinte parecer plausível.

01 — O modelo
O SeedWorld prevê o estado seguinte
Um modelo de mundo constrói uma representação interna de um ambiente e usa-a para prever como esse ambiente muda. A entrada útil é uma cena juntamente com uma ação. O SeedWorld é um modelo desse tipo: a ação faz parte da pergunta, e a resposta é o estado seguinte da cena.
Os modelos de linguagem preveem a palavra seguinte. Os geradores de vídeo preveem, a partir de um prompt, uma sequência de píxeis plausível. O artigo World Models de 2018, e depois o Dreamer, tratam o modelo como um simulador compacto que se pode fazer avançar na imaginação. O SeedWorld apresenta-se por essa definição. Não é um gerador de clips que por acaso mostra movimento.
A literatura pública aproxima-se da mesma definição a partir de três direções. A descrição do SeedWorld toma as três:
- Dinâmica latente. World Models de Ha e Schmidhuber, PlaNet e Dreamer aprendem um estado oculto pequeno e uma transição nesse estado. Um agente pode planear aí antes de agir fora do modelo. O SeedWorld usa esta ideia de um estado compacto que se pode fazer avançar, em vez de tratar cada píxel como o estado.
- Vídeo condicionado pela ação. A série Genie da DeepMind aprende ambientes interativos a partir de vídeo, de modo que uma tecla ou um movimento de câmara muda os fotogramas seguintes. O NVIDIA Cosmos foi construído como modelos fundacionais do mundo para cenas físicas: condução, robôs e indústria. A saída visível do SeedWorld lê-se da mesma forma: fotogramas que devem seguir a ação.
- Uma representação, não apenas píxeis. A arquitetura preditiva de embeddings conjuntos de Yann LeCun, e o V-JEPA da Meta, preveem a representação abstrata seguinte de um vídeo em vez de reconstruir cada píxel. O SeedWorld partilha esse juízo: muito detalhe dos píxeis não decide o que acontece a seguir.
O teste com que se escreve o SeedWorld
Um vídeo convincente pode ainda ignorar a ação. Uma parede de tijolo e uma parede pintada podem parecer iguais se um modelo apenas acerta texturas. Os trabalhos sobre modelos de mundo usam um teste mais estrito, e é o do SeedWorld: se a ação muda, o futuro muda da forma correspondente? A permanência dos objetos, o contacto, a gravidade e a planta de uma divisão fazem parte desse teste. Parecer real não é toda a descrição.

02 — O que prevê
Quatro partes da descrição do SeedWorld
São as perguntas com que se descrevem outros modelos de mundo. São também as usadas para descrever o SeedWorld.
Um estado, latente ou visível
Alguns modelos de mundo preveem os píxeis seguintes. Outros comprimem a cena e preveem o estado latente, que é a forma como o Dreamer faz avançar o futuro. O SeedWorld é descrito como fazendo as duas coisas: um estado que se pode continuar e fotogramas que uma pessoa pode ver. O que se prevê é o estado. O fotograma é uma maneira de o ver.
Uma ação de que depende o futuro
Nos modelos ao estilo Genie, a ação pode ser uma tecla ou uma pose de câmara. Nos trabalhos de condução e robótica pode ser uma trajetória ou um comando articular. O SeedWorld toma a ação como entrada nesse mesmo sentido. A mesma história com duas ações diferentes são duas perguntas, e os futuros previstos devem divergir.
Memória quando a vista se move
Um fotograma não guarda um mapa. Os modelos de vídeo mais fracos inventam outra divisão quando a câmara se desvia. Os modelos de mundo orientados à exploração discutem-se em termos de permanência dos objetos: pegadas, uma porta aberta, uma caixa deslocada. O SeedWorld descreve-se com essa memória. O que estava atrás da câmara faz parte do estado.
Física aprendida dos dados
Um motor de jogo escreve massa, atrito e colisão como regras. Os modelos de mundo aprendidos, incluindo os treinados para cenas físicas ao estilo Cosmos, apanham essas regularidades de vídeo, registos de robôs ou dados de condução. O SeedWorld está desse lado. Pode cobrir cenas que ninguém listou e, como outros modelos aprendidos, inventar um contacto que nunca aconteceu.
- Previsão
- O estado seguinte da cena, continuado como estado latente e mostrado como fotogramas
- Condição
- Uma ação sobre a observação atual: um movimento, uma mudança de câmara, uma trajetória ou uma pega
- Desenrolar
- O estado previsto volta a entrar, para o futuro continuar além de um passo
- O que se verifica
- Se a ação muda o futuro, se os objetos persistem e se o contacto se mantém plausível
03 — As previsões
Previsões que se pedem ao SeedWorld

O tempo numa superfície
A partir de um pátio seco de calçada, a mudança é «começa a chover». Um modelo de vídeo pode pintar riscos sobre o fotograma. O SeedWorld também responde por as pedras escurecerem, a água se acumular nos pontos baixos e a luz começar a refletir-se no chão molhado.
Um objeto e uma causa
Numa oficina, a ação é empurrar uma caixa pesada para fora da bancada. O SeedWorld tem de continuar a trajetória da caixa, o ressalto e aquilo em que a caixa bate. Olhar de novo para a porta deve mostrar a mesma sala. É a verificação de permanência dos objetos usada noutros modelos de mundo exploráveis.
Três cenas, lidas como testes
Um lugar e o seu tempo
Cena: Uma biblioteca numa falésia, portas de vidro abertas para um pinhal com neve.
O que o SeedWorld tem de acertar: Depois de sair e de se virar, as pegadas e a sala deixada continuam de acordo com o caminho.
Contacto entre objetos
Cena: Uma mesa de vidro, uma chávena de cerâmica e um jarro de água.
O que o SeedWorld tem de acertar: Um empurrão move a chávena e não a mesa, e o que se entorna segue a superfície.
Uma rua e um veículo
Cena: Um cruzamento urbano molhado ao anoitecer, com trânsito e um robô de entregas.
O que o SeedWorld tem de acertar: Duas ações de direção diferentes produzem dois futuros que um condutor reconheceria como distintos.
04 — O enquadramento
Os enquadramentos em que se escrevem os modelos de mundo

Cenas que uma pessoa pode percorrer com o olhar
- Ambientes interativos. Os modelos ao estilo Genie transformam vídeo num lugar que responde a teclas ou ao movimento da câmara. As cenas do SeedWorld descrevem-se nesse registo: os fotogramas seguintes são uma resposta, não um clip terminado que se reproduz.
- Mover-se numa disposição. Outra linha de modelos de mundo parte de uma imagem ou de uma descrição curta e tenta manter a disposição estável enquanto um ponto de vista se move. O SeedWorld descreve-se como quem guarda essa disposição no seu estado.
- Vários agentes numa cena. Se mais de um agente age, cada futuro previsto tem de incluir as mudanças causadas pelos outros. O estado do SeedWorld é partilhado nesse sentido: uma cena, mais de uma ação.
- Um plano considerado antes de ser construído. O cinema já bloqueia cenas em 3D grosseiro. Um modelo de mundo aprendido discute-se aí quando a luz, o tempo e os movimentos de câmara se mantêm de uma continuação para a seguinte. Essa coerência faz parte de como se descreve o SeedWorld.
Futuros que uma máquina pode fazer avançar
- Imaginação, como no Dreamer. O Dreamer atualiza o comportamento em desenrolares previstos. O desenrolar do SeedWorld é o mesmo objeto: um futuro que continua dentro do modelo, antes de se falar de uma ação fora dele.
- Cenas de condução raras. Os dados de condução registados representam pouco o gelo, o encandeamento e alguém que surge de repente. Os modelos de mundo estudam-se como uma forma de continuar essas cenas. As previsões de rua do SeedWorld leem-se segundo esse uso: o movimento tem de seguir a ação.
- Comparar alternativas. O controlo preditivo amostra muitas sequências de ações e faz avançar cada uma. O SeedWorld é o modelo que forneceria esses estados seguintes. A página não descreve um controlador construído por cima.
05 — Ao lado de outros sistemas
O SeedWorld ao lado de outros tipos de sistemas
Estes sistemas podem todos mostrar uma cena em movimento. Respondem a perguntas diferentes. A coluna SeedWorld prevê um estado seguinte depois de uma ação específica.
| Simulador escrito à mão | Gerador de vídeo | Preditor de representações | SeedWorld | |
|---|---|---|---|---|
| O que prevê | O estado seguinte a partir de física escrita | Uma sequência de píxeis plausível | O embedding seguinte da cena | O estado seguinte da cena depois de uma ação específica |
| De onde vêm as regras | Equações e código de colisão | Estatística do vídeo de treino | Um espaço de embedding aprendido | Regularidades aprendidas, à maneira de outros modelos de mundo |
| A ação muda o futuro? | Sim, através das regras escritas | Só se o prompt for reescrito e o clip regenerado | Sim, no espaço das representações | Sim. Essa resposta é aquilo para que o SeedWorld existe |
| O que se pode ver | Uma cena 3D renderizada | Um vídeo | Em geral, nada visual | Fotogramas, e o estado de onde vêm |
| Como se discute | Jogos e sandboxes de robótica | Um plano terminado | Planeamento e compreensão de vídeo | Como modelo de mundo: a imaginação do estado seguinte |
06 — Um passo
Como o SeedWorld forma uma previsão
01
Ler a observação atual
Um fotograma, um vídeo curto, um mapa de profundidade ou o estado latente já transportado. O SeedWorld trata isso como agora.
02
Tomar a ação como condição
A ação é uma entrada, como no Genie, nos modelos de mundo de condução e no V-JEPA condicionado pela ação. Duas ações a partir da mesma observação são duas perguntas.
03
Prever o estado seguinte
O SeedWorld prevê o estado seguinte e pode voltar a alimentar essa previsão. Uma continuação longa é onde a memória e a física aprendida se aguentam ou se desfazem.
07 — Perguntas
Perguntas sobre o SeedWorld
Que tipo de modelo é o SeedWorld?
O SeedWorld é um modelo de mundo. Prevê como uma cena muda depois de uma ação. É a definição usada para o Dreamer, para o Genie e para outros modelos condicionados pela ação: o estado seguinte depende do que acabou de ser feito.
O SeedWorld é um gerador de vídeo?
Não. Um gerador de vídeo amostra um clip que parece plausível. O SeedWorld descreve-se conforme o futuro segue a ação. Um clip realista sem ação na entrada é um vídeo. A previsão do SeedWorld inclui a ação.
Em que é que o SeedWorld difere de um motor de jogo?
Um motor de jogo avança uma cena com regras escritas: colisão, gravidade, materiais. O SeedWorld, como outros modelos de mundo aprendidos, apanha essas tendências dos dados. Os motores são exatos dentro das regras que têm. Um modelo aprendido pode cobrir cenas que ninguém guiou, e também pode estar errado.
Porque mencionar o V-JEPA e os estados latentes?
O V-JEPA prevê uma representação do instante seguinte em vez de cada píxel, porque muito detalhe dos píxeis não muda a decisão. O SeedWorld descreve-se com um estado latente pela mesma razão. Os fotogramas são uma vista desse estado, não um substituto.
O que é um desenrolar para o SeedWorld?
O SeedWorld prevê um passo, trata essa previsão como o novo presente e prevê outra vez. O Dreamer e o controlo preditivo usam futuros imaginados deste tipo para comparar ações. O desenrolar faz parte do modelo, não é um passo de produto à parte.
Porque é que o SeedWorld esqueceria uma sala?
Um fotograma só mostra o que a câmara vê agora. Sem uma memória de objetos e de disposição, o fotograma seguinte pode inventar um fundo novo. A coerência a longo prazo é um problema em aberto dos modelos de mundo em geral, e uma das verificações aplicadas ao SeedWorld.
O que é que o SeedWorld não é?
O SeedWorld não é um motor de física escrito à mão, nem um modelo de prompt para vídeo. Também não é descrito aqui como algo que se opera, a que se subscreve ou que se liga a outro sistema. A página só diz que tipo de modelo é, com os termos já usados para outros modelos de mundo.
O SeedWorld é um modelo do estado seguinte
O SeedWorld toma a cena e a ação e prevê em que a cena se torna. Geradores de vídeo, motores de jogo e modelos de representação respondem cada um a uma pergunta próxima. A pergunta que coloca o SeedWorld junto dos outros modelos de mundo é a ação: o futuro depende dela.