Welcome to ImgToVid AI

or
🎁Get 5 free credits after sign in

SeedWorld: um modelo de mundo de IA

SeedWorld é um modelo de mundo. Guarda uma descrição aprendida de uma cena e prevê como essa cena muda quando algo age: um passo, um giro de câmara, uma pega, uma travagem. Os modelos de mundo públicos apresentam-se assim, dos World Models de Ha e Schmidhuber de 2018 e do Dreamer até Genie, Cosmos e V-JEPA. Aqui o SeedWorld é descrito nessa língua. O estado seguinte depende da ação, não apenas de o fotograma seguinte parecer plausível.

SeedWorld como modelo de mundo, ilustrado por um desenho que se torna uma vila costeira
Um desenho que se torna um lugar. O SeedWorld ocupa-se de manter esse lugar coerente quando o ponto de vista e os objetos mudam.

01 — O modelo

O SeedWorld prevê o estado seguinte

Um modelo de mundo constrói uma representação interna de um ambiente e usa-a para prever como esse ambiente muda. A entrada útil é uma cena juntamente com uma ação. O SeedWorld é um modelo desse tipo: a ação faz parte da pergunta, e a resposta é o estado seguinte da cena.

Os modelos de linguagem preveem a palavra seguinte. Os geradores de vídeo preveem, a partir de um prompt, uma sequência de píxeis plausível. O artigo World Models de 2018, e depois o Dreamer, tratam o modelo como um simulador compacto que se pode fazer avançar na imaginação. O SeedWorld apresenta-se por essa definição. Não é um gerador de clips que por acaso mostra movimento.

A literatura pública aproxima-se da mesma definição a partir de três direções. A descrição do SeedWorld toma as três:

  • Dinâmica latente. World Models de Ha e Schmidhuber, PlaNet e Dreamer aprendem um estado oculto pequeno e uma transição nesse estado. Um agente pode planear aí antes de agir fora do modelo. O SeedWorld usa esta ideia de um estado compacto que se pode fazer avançar, em vez de tratar cada píxel como o estado.
  • Vídeo condicionado pela ação. A série Genie da DeepMind aprende ambientes interativos a partir de vídeo, de modo que uma tecla ou um movimento de câmara muda os fotogramas seguintes. O NVIDIA Cosmos foi construído como modelos fundacionais do mundo para cenas físicas: condução, robôs e indústria. A saída visível do SeedWorld lê-se da mesma forma: fotogramas que devem seguir a ação.
  • Uma representação, não apenas píxeis. A arquitetura preditiva de embeddings conjuntos de Yann LeCun, e o V-JEPA da Meta, preveem a representação abstrata seguinte de um vídeo em vez de reconstruir cada píxel. O SeedWorld partilha esse juízo: muito detalhe dos píxeis não decide o que acontece a seguir.

O teste com que se escreve o SeedWorld

Um vídeo convincente pode ainda ignorar a ação. Uma parede de tijolo e uma parede pintada podem parecer iguais se um modelo apenas acerta texturas. Os trabalhos sobre modelos de mundo usam um teste mais estrito, e é o do SeedWorld: se a ação muda, o futuro muda da forma correspondente? A permanência dos objetos, o contacto, a gravidade e a planta de uma divisão fazem parte desse teste. Parecer real não é toda a descrição.

Previsão física do SeedWorld, ilustrada com uma esfera de vidro, água e profundidade
A previsão física do SeedWorld trata de massa, contacto e luz, não apenas de um fotograma seguinte bonito.

02 — O que prevê

Quatro partes da descrição do SeedWorld

São as perguntas com que se descrevem outros modelos de mundo. São também as usadas para descrever o SeedWorld.

Um estado, latente ou visível

Alguns modelos de mundo preveem os píxeis seguintes. Outros comprimem a cena e preveem o estado latente, que é a forma como o Dreamer faz avançar o futuro. O SeedWorld é descrito como fazendo as duas coisas: um estado que se pode continuar e fotogramas que uma pessoa pode ver. O que se prevê é o estado. O fotograma é uma maneira de o ver.

Uma ação de que depende o futuro

Nos modelos ao estilo Genie, a ação pode ser uma tecla ou uma pose de câmara. Nos trabalhos de condução e robótica pode ser uma trajetória ou um comando articular. O SeedWorld toma a ação como entrada nesse mesmo sentido. A mesma história com duas ações diferentes são duas perguntas, e os futuros previstos devem divergir.

Memória quando a vista se move

Um fotograma não guarda um mapa. Os modelos de vídeo mais fracos inventam outra divisão quando a câmara se desvia. Os modelos de mundo orientados à exploração discutem-se em termos de permanência dos objetos: pegadas, uma porta aberta, uma caixa deslocada. O SeedWorld descreve-se com essa memória. O que estava atrás da câmara faz parte do estado.

Física aprendida dos dados

Um motor de jogo escreve massa, atrito e colisão como regras. Os modelos de mundo aprendidos, incluindo os treinados para cenas físicas ao estilo Cosmos, apanham essas regularidades de vídeo, registos de robôs ou dados de condução. O SeedWorld está desse lado. Pode cobrir cenas que ninguém listou e, como outros modelos aprendidos, inventar um contacto que nunca aconteceu.

Previsão
O estado seguinte da cena, continuado como estado latente e mostrado como fotogramas
Condição
Uma ação sobre a observação atual: um movimento, uma mudança de câmara, uma trajetória ou uma pega
Desenrolar
O estado previsto volta a entrar, para o futuro continuar além de um passo
O que se verifica
Se a ação muda o futuro, se os objetos persistem e se o contacto se mantém plausível

03 — As previsões

Previsões que se pedem ao SeedWorld

Memória espacial do SeedWorld, ilustrada por um caminho com neve e vidro depois de o ponto de vista se mover
Virar-se é uma das verificações. O SeedWorld deve continuar a saber o que estava atrás da câmara.

O tempo numa superfície

A partir de um pátio seco de calçada, a mudança é «começa a chover». Um modelo de vídeo pode pintar riscos sobre o fotograma. O SeedWorld também responde por as pedras escurecerem, a água se acumular nos pontos baixos e a luz começar a refletir-se no chão molhado.

Um objeto e uma causa

Numa oficina, a ação é empurrar uma caixa pesada para fora da bancada. O SeedWorld tem de continuar a trajetória da caixa, o ressalto e aquilo em que a caixa bate. Olhar de novo para a porta deve mostrar a mesma sala. É a verificação de permanência dos objetos usada noutros modelos de mundo exploráveis.

Três cenas, lidas como testes

Um lugar e o seu tempo

Cena: Uma biblioteca numa falésia, portas de vidro abertas para um pinhal com neve.

O que o SeedWorld tem de acertar: Depois de sair e de se virar, as pegadas e a sala deixada continuam de acordo com o caminho.

Contacto entre objetos

Cena: Uma mesa de vidro, uma chávena de cerâmica e um jarro de água.

O que o SeedWorld tem de acertar: Um empurrão move a chávena e não a mesa, e o que se entorna segue a superfície.

Uma rua e um veículo

Cena: Um cruzamento urbano molhado ao anoitecer, com trânsito e um robô de entregas.

O que o SeedWorld tem de acertar: Duas ações de direção diferentes produzem dois futuros que um condutor reconheceria como distintos.

04 — O enquadramento

Os enquadramentos em que se escrevem os modelos de mundo

Um robô humanoide numa passadeira molhada, o tipo de cena quando se fala de modelos de mundo para máquinas
Os trabalhos sobre robôs e condução usam um futuro previsto para uma máquina poder considerar uma ação antes de a fazer. O SeedWorld descreve-se nesse enquadramento.

Cenas que uma pessoa pode percorrer com o olhar

  • Ambientes interativos. Os modelos ao estilo Genie transformam vídeo num lugar que responde a teclas ou ao movimento da câmara. As cenas do SeedWorld descrevem-se nesse registo: os fotogramas seguintes são uma resposta, não um clip terminado que se reproduz.
  • Mover-se numa disposição. Outra linha de modelos de mundo parte de uma imagem ou de uma descrição curta e tenta manter a disposição estável enquanto um ponto de vista se move. O SeedWorld descreve-se como quem guarda essa disposição no seu estado.
  • Vários agentes numa cena. Se mais de um agente age, cada futuro previsto tem de incluir as mudanças causadas pelos outros. O estado do SeedWorld é partilhado nesse sentido: uma cena, mais de uma ação.
  • Um plano considerado antes de ser construído. O cinema já bloqueia cenas em 3D grosseiro. Um modelo de mundo aprendido discute-se aí quando a luz, o tempo e os movimentos de câmara se mantêm de uma continuação para a seguinte. Essa coerência faz parte de como se descreve o SeedWorld.

Futuros que uma máquina pode fazer avançar

  • Imaginação, como no Dreamer. O Dreamer atualiza o comportamento em desenrolares previstos. O desenrolar do SeedWorld é o mesmo objeto: um futuro que continua dentro do modelo, antes de se falar de uma ação fora dele.
  • Cenas de condução raras. Os dados de condução registados representam pouco o gelo, o encandeamento e alguém que surge de repente. Os modelos de mundo estudam-se como uma forma de continuar essas cenas. As previsões de rua do SeedWorld leem-se segundo esse uso: o movimento tem de seguir a ação.
  • Comparar alternativas. O controlo preditivo amostra muitas sequências de ações e faz avançar cada uma. O SeedWorld é o modelo que forneceria esses estados seguintes. A página não descreve um controlador construído por cima.

05 — Ao lado de outros sistemas

O SeedWorld ao lado de outros tipos de sistemas

Estes sistemas podem todos mostrar uma cena em movimento. Respondem a perguntas diferentes. A coluna SeedWorld prevê um estado seguinte depois de uma ação específica.

Simulador escrito à mãoGerador de vídeoPreditor de representaçõesSeedWorld
O que prevêO estado seguinte a partir de física escritaUma sequência de píxeis plausívelO embedding seguinte da cenaO estado seguinte da cena depois de uma ação específica
De onde vêm as regrasEquações e código de colisãoEstatística do vídeo de treinoUm espaço de embedding aprendidoRegularidades aprendidas, à maneira de outros modelos de mundo
A ação muda o futuro?Sim, através das regras escritasSó se o prompt for reescrito e o clip regeneradoSim, no espaço das representaçõesSim. Essa resposta é aquilo para que o SeedWorld existe
O que se pode verUma cena 3D renderizadaUm vídeoEm geral, nada visualFotogramas, e o estado de onde vêm
Como se discuteJogos e sandboxes de robóticaUm plano terminadoPlaneamento e compreensão de vídeoComo modelo de mundo: a imaginação do estado seguinte

06 — Um passo

Como o SeedWorld forma uma previsão

  1. 01

    Ler a observação atual

    Um fotograma, um vídeo curto, um mapa de profundidade ou o estado latente já transportado. O SeedWorld trata isso como agora.

  2. 02

    Tomar a ação como condição

    A ação é uma entrada, como no Genie, nos modelos de mundo de condução e no V-JEPA condicionado pela ação. Duas ações a partir da mesma observação são duas perguntas.

  3. 03

    Prever o estado seguinte

    O SeedWorld prevê o estado seguinte e pode voltar a alimentar essa previsão. Uma continuação longa é onde a memória e a física aprendida se aguentam ou se desfazem.

07 — Perguntas

Perguntas sobre o SeedWorld

Que tipo de modelo é o SeedWorld?

O SeedWorld é um modelo de mundo. Prevê como uma cena muda depois de uma ação. É a definição usada para o Dreamer, para o Genie e para outros modelos condicionados pela ação: o estado seguinte depende do que acabou de ser feito.

O SeedWorld é um gerador de vídeo?

Não. Um gerador de vídeo amostra um clip que parece plausível. O SeedWorld descreve-se conforme o futuro segue a ação. Um clip realista sem ação na entrada é um vídeo. A previsão do SeedWorld inclui a ação.

Em que é que o SeedWorld difere de um motor de jogo?

Um motor de jogo avança uma cena com regras escritas: colisão, gravidade, materiais. O SeedWorld, como outros modelos de mundo aprendidos, apanha essas tendências dos dados. Os motores são exatos dentro das regras que têm. Um modelo aprendido pode cobrir cenas que ninguém guiou, e também pode estar errado.

Porque mencionar o V-JEPA e os estados latentes?

O V-JEPA prevê uma representação do instante seguinte em vez de cada píxel, porque muito detalhe dos píxeis não muda a decisão. O SeedWorld descreve-se com um estado latente pela mesma razão. Os fotogramas são uma vista desse estado, não um substituto.

O que é um desenrolar para o SeedWorld?

O SeedWorld prevê um passo, trata essa previsão como o novo presente e prevê outra vez. O Dreamer e o controlo preditivo usam futuros imaginados deste tipo para comparar ações. O desenrolar faz parte do modelo, não é um passo de produto à parte.

Porque é que o SeedWorld esqueceria uma sala?

Um fotograma só mostra o que a câmara vê agora. Sem uma memória de objetos e de disposição, o fotograma seguinte pode inventar um fundo novo. A coerência a longo prazo é um problema em aberto dos modelos de mundo em geral, e uma das verificações aplicadas ao SeedWorld.

O que é que o SeedWorld não é?

O SeedWorld não é um motor de física escrito à mão, nem um modelo de prompt para vídeo. Também não é descrito aqui como algo que se opera, a que se subscreve ou que se liga a outro sistema. A página só diz que tipo de modelo é, com os termos já usados para outros modelos de mundo.

O SeedWorld é um modelo do estado seguinte

O SeedWorld toma a cena e a ação e prevê em que a cena se torna. Geradores de vídeo, motores de jogo e modelos de representação respondem cada um a uma pergunta próxima. A pergunta que coloca o SeedWorld junto dos outros modelos de mundo é a ação: o futuro depende dela.