Welcome to ImgToVid AI

or
🎁Get 5 free credits after sign in

SeedVerse: explorar o mundo dos modelos de mundo de IA

Compreender como a inteligência artificial aprende, prevê e simula o mundo.

Modelos de mundo de IA a ligar ambientes digitais, paisagens e sistemas inteligentes
Os modelos de mundo de IA procuram construir representações estruturadas dos ambientes e da forma como evoluem ao longo do tempo.

A inteligência artificial está a ultrapassar os sistemas que apenas reconhecem imagens, geram texto ou criam curtos clipes de vídeo. Uma área de investigação em crescimento concentra-se numa questão mais profunda: pode um sistema de IA aprender como o mundo funciona, antecipar a forma como pode mudar e prever as consequências das ações no seu interior?

Esta é a ideia central dos modelos de mundo de IA.

Os modelos de mundo são concebidos para representar ambientes e a dinâmica desses ambientes. Consoante a abordagem, podem prever observações visuais futuras, reconstruir espaços tridimensionais, simular interações físicas ou aprender representações compactas que ajudam um agente a planear a ação seguinte.

O domínio reúne ideias da IA generativa, da visão por computador, da robótica, da aprendizagem por reforço, da inteligência espacial e da simulação física. Embora estas linhas de investigação estejam relacionadas, nem todas resolvem o mesmo problema.

O SeedVerse explora este domínio em evolução: os conceitos, as tecnologias, os projetos de investigação, as aplicações e os desafios em aberto dos sistemas de IA que procuram compreender e modelar o mundo.

O que são os modelos de mundo de IA?

Um modelo de mundo de IA é uma representação aprendida de um ambiente e dos processos que regem a forma como esse ambiente muda.

Em vez de responder apenas à entrada atual, um modelo de mundo procura captar relações entre objetos, eventos, ações e estados futuros. Pode usar esta representação interna para estimar o que pode acontecer a seguir ou como um ambiente pode responder a uma determinada ação.

Por exemplo, um sistema de condução autónoma tem de fazer mais do que identificar um peão numa imagem. Precisa de estimar o movimento do peão, compreender o traçado da estrada em redor, antecipar possíveis interações com os veículos próximos e raciocinar sobre a forma como diferentes decisões de condução podem afetar a situação.

Um modelo de mundo pode apoiar este processo ao aprender padrões de mudança do ambiente a partir de observações visuais, dados de sensores, registos de interação ou experiência simulada.

Para além da geração visual

Os modelos de mundo são por vezes confundidos com os modelos de geração de imagem e de vídeo, porque ambos podem produzir conteúdo visual realista. Contudo, a qualidade visual, por si só, não demonstra que um sistema tenha aprendido como um ambiente se comporta.

Um gerador de vídeo pode criar uma sequência convincente de uma bola a rolar sobre uma mesa. Um modelo de mundo mais capaz teria também de representar a forma como o movimento da bola se relaciona com a gravidade, o atrito, o contacto com outros objetos e as alterações provocadas por ações externas.

A distinção nem sempre é absoluta. Alguns modelos de mundo usam a geração de vídeo como principal representação dos estados futuros, enquanto outros preveem características comprimidas ou informação 3D estruturada, em vez de produzirem imagens completas.

A questão importante não é apenas se um modelo consegue gerar uma cena realista, mas se as previsões permanecem coerentes e úteis quando o ambiente muda ou quando um agente age.

Porque são importantes os modelos de mundo?

Muitas tarefas inteligentes exigem mais do que reconhecer o presente. Exigem antecipar futuros possíveis.

Os modelos de mundo estão a ser investigados porque podem ajudar os sistemas de IA a:

  • Prever como os objetos e os ambientes vão mudar ao longo do tempo.
  • Estimar as consequências de diferentes ações.
  • Planear tarefas antes de agir no mundo físico.
  • Gerar ambientes sintéticos e experiências de treino.
  • Testar cenários difíceis, dispendiosos ou inseguros de reproduzir na realidade.
  • Construir robôs, sistemas autónomos e agentes interativos mais capazes.

Estas capacidades são especialmente relevantes quando um sistema de IA tem de operar num ambiente dinâmico, incerto e apenas parcialmente observável.

Como funcionam os modelos de mundo?

Não existe uma única arquitetura usada por todos os modelos de mundo. Sistemas diferentes combinam perceção, aprendizagem de representações, previsão, memória e condicionamento pela ação de formas distintas.

Um fluxo simplificado de um modelo de mundo pode ser entendido através de várias etapas ligadas entre si.

Perceção multimodal

Um modelo de mundo precisa, antes de mais, de informação sobre o ambiente.

Consoante o sistema, as entradas podem incluir:

  • Imagens e fotogramas de vídeo.
  • Descrições e instruções em texto.
  • Mapas de profundidade e nuvens de pontos 3D.
  • Movimento de câmara e informação espacial.
  • Ações de robôs e observações de sensores.
  • Áudio e outros sinais do ambiente.

A perceção multimodal permite que um modelo combine diferentes fontes de informação, em vez de tratar cada observação como uma imagem isolada.

Representação espacial

Compreender uma cena exige mais do que identificar objetos individuais. Um modelo pode também precisar de representar a posição, as dimensões, a orientação, a distância e as relações entre eles.

Por exemplo, reconhecer uma cadeira é diferente de compreender onde está em relação a uma mesa, se um robô a consegue alcançar ou como se moveria se fosse empurrada.

As representações espaciais podem assumir muitas formas, entre as quais:

  • Mapas de características 2D e 3D.
  • Representações de profundidade e geométricas.
  • Nuvens de pontos e splats gaussianos 3D.
  • Ambientes baseados em malhas.
  • Representações centradas em objetos.
  • Representações espaciais latentes.

Representações diferentes implicam equilíbrios diferentes entre detalhe visual, custo computacional, precisão geométrica e facilidade de interação.

Perceção multimodal de IA a transformar imagens de câmara, vídeo e sinais espaciais em representações 3D estruturadas
Os modelos de mundo podem combinar sinais visuais, temporais e espaciais para construir representações estruturadas do que os rodeia.

Modelação do estado do mundo

A informação recolhida pela perceção é transformada numa representação interna do ambiente.

Essa representação pode descrever objetos, as respetivas propriedades, as relações entre eles e o estado atual da cena.

Alguns modelos representam explicitamente objetos e geometria. Outros usam espaços latentes, em que a informação do ambiente é comprimida em características aprendidas que não correspondem necessariamente a objetos reconhecíveis por uma pessoa.

O objetivo é conservar a informação necessária à previsão, ao planeamento ou à simulação.

Dinâmica temporal

Um mundo não é estático. Os objetos movem-se, as pessoas interagem, os veículos mudam de direção e as condições do ambiente evoluem.

Os modelos de mundo precisam, por isso, de aprender como os estados mudam ao longo do tempo.

A modelação temporal ajuda a captar padrões como:

  • O movimento de pessoas e veículos.
  • Alterações na posição e na orientação dos objetos.
  • Interações entre objetos.
  • A progressão dos eventos físicos.
  • A relação entre observações anteriores e resultados posteriores.

Um modelo que produz fotogramas realistas quando vistos isoladamente, mas perde a consistência entre eles, pode ter dificuldade em representar um ambiente coerente em evolução.

Previsão de estados futuros

Depois de aprender uma representação do ambiente atual e da respetiva dinâmica, um modelo pode tentar prever estados futuros.

Essas previsões podem tomar a forma de fotogramas de vídeo futuros, sequências de características latentes, estruturas espaciais ou outras observações simuladas.

Um sistema pode estimar como um veículo se aproxima de um cruzamento, como um objeto se move depois de ser empurrado ou como um ambiente virtual muda à medida que uma câmara o percorre.

A qualidade da previsão depende da capacidade do modelo para preservar informação relevante ao longo do tempo e para lidar com situações diferentes dos exemplos de treino.

Modelação condicionada pela ação

Uma das direções mais importantes na investigação sobre modelos de mundo é o condicionamento pela ação.

Em vez de prever o que acontece a seguir apenas a partir das observações anteriores, um modelo condicionado pela ação considera também uma ação possível.

Por exemplo:

  • O que acontece se um robô mover o braço em direção a um objeto?
  • Como responde o tráfego se um veículo autónomo mudar de faixa?
  • O que acontece quando uma personagem virtual abre uma porta?
  • Como se comporta um objeto quando é empurrado de outra direção?

Isto permite ao modelo comparar resultados possíveis e apoiar o planeamento.

Modelo de mundo de IA a prever movimentos de veículos e peões em vários estados futuros
Os modelos de mundo preditivos estimam como os objetos e os ambientes podem mudar em momentos sucessivos.

Principais tipos de modelos de mundo de IA

Os modelos de mundo não são uma única categoria de tecnologia. Podem agrupar-se pelo tipo de informação que representam, pelos resultados que produzem e pelas tarefas que se destinam a apoiar.

Estas categorias sobrepõem-se, e um mesmo sistema de investigação pode combinar várias abordagens.

Modelos de mundo generativos

Os modelos de mundo generativos produzem observações futuras ou ambientes completos.

Alguns geram sequências de vídeo que mostram como uma cena pode evoluir. Outros criam ambientes virtuais a partir de texto, imagens ou outras entradas visuais.

O valor para a investigação está na capacidade de construir mundos possíveis e de gerar observações que podem ser exploradas, avaliadas ou usadas como dados sintéticos.

Gerar um ambiente visualmente convincente não significa, por si, que o modelo tenha uma dinâmica física precisa ou um comportamento fiável a longo prazo.

Modelos de mundo preditivos e latentes

Os modelos de mundo preditivos centram-se em estimar estados futuros, sem que isso obrigue a gerar cada fotograma futuro.

Muitos usam representações latentes: características internas comprimidas que retêm a informação relevante para a previsão e para a tomada de decisão.

Esta abordagem pode reduzir o custo de modelar detalhes visuais que não importam para uma tarefa concreta.

A investigação baseada em arquiteturas preditivas de incorporação conjunta, incluindo abordagens ao estilo JEPA, estuda como os modelos podem aprender representações úteis ao prever relações entre observações no espaço de características.

Modelos de mundo espaciais e 3D

Os modelos de mundo espaciais dão prioridade à estrutura e à geometria dos ambientes.

Podem reconstruir ou gerar cenas 3D com representações como malhas, nuvens de pontos ou splats gaussianos 3D.

Estes sistemas interessam à reconstrução de cenas, ao raciocínio espacial, à produção virtual, à simulação e à robótica.

Uma representação 3D pode preservar a geometria dependente da câmara e as relações espaciais, mas não constitui necessariamente um modelo completo do comportamento físico. Geometria e dinâmica são problemas relacionados, mas distintos.

Modelos de mundo interativos

Os modelos de mundo interativos respondem a ações ou a alterações introduzidas durante uma simulação.

Em vez de produzirem uma sequência fixa, procuram manter um ambiente em evolução à medida que um agente ou um utilizador se desloca, muda a câmara ou modifica a cena.

Entre as questões de investigação relevantes estão a preservação da identidade dos objetos, a consistência espacial, a resposta a instruções novas e o suporte a interações mais longas.

Um grande ambiente virtual gerado por IA que ilustra modelos de mundo generativos e interativos
Os modelos de mundo generativos podem construir ambientes virtuais, enquanto as abordagens interativas investigam como esses ambientes respondem a ações.

Modelos de mundo físicos

Os modelos de mundo físicos centram-se na forma como os objetos e os ambientes se comportam em condições físicas.

Os fatores relevantes podem incluir:

  • Gravidade e inércia.
  • Colisão e contacto.
  • Atrito e deslizamento.
  • Deformação e propriedades dos materiais.
  • Força e movimento.
  • Manipulação de objetos e restrições físicas.

Estas capacidades são particularmente importantes para a robótica, os sistemas autónomos e outras formas de IA física.

Aprendizagem por reforço baseada em modelos

Na aprendizagem por reforço baseada em modelos, um agente aprende ou usa um modelo do ambiente para avaliar ações possíveis.

O modelo pode prever como o ambiente poderá responder, o que permite ao agente planear numa simulação interna antes de agir no ambiente real.

Esta linha de investigação tem uma longa história na aprendizagem por reforço e continua a ser uma base importante da investigação atual sobre modelos de mundo.

Principais modelos de mundo de IA e projetos de investigação

A investigação sobre modelos de mundo avança em várias direções técnicas. Alguns projetos centram-se em ambientes visuais interativos; outros, na reconstrução espacial, na previsão latente, na IA física ou na simulação condicionada pela ação.

Os exemplos seguintes ilustram a diversidade do domínio. Não devem ser tratados como produtos diretamente substituíveis entre si: os objetivos, as arquiteturas, a disponibilidade e o grau de maturidade diferem.

Google DeepMind

Genie

Ambientes interativos generativos

Ambientes gerados a partir de entradas visuais ou textuais que podem responder à interação

Google DeepMind (opens in a new tab)

A investigação Genie da Google DeepMind explora modelos capazes de gerar ambientes interativos a partir de entradas visuais ou textuais.

A linha Genie ilustra uma abordagem generativa à modelação do mundo, em que um modelo cria um ambiente capaz de responder à navegação e a outras formas de interação.

Os desenvolvimentos sucessivos desta investigação estudam ambientes interativos de maior qualidade, melhor consistência temporal e dinâmicas de cena mais complexas.

NVIDIA

Cosmos

Modelos de base do mundo para IA física

Compreensão multimodal, dados sintéticos, simulação do mundo e modelação ligada à ação

NVIDIA Cosmos (opens in a new tab)

O NVIDIA Cosmos é uma família de modelos de base do mundo desenvolvida para a IA física.

Esta linha de investigação liga a compreensão multimodal, a geração de dados sintéticos, a simulação do mundo e a modelação ligada à ação.

O objetivo mais amplo é fornecer bases para a robótica, os veículos autónomos e os sistemas industriais de IA física, em que os modelos precisam de compreender os ambientes e de prever como podem mudar.

A NVIDIA disponibilizou também recursos de modelos, código e conjuntos de dados para apoiar a investigação e o desenvolvimento.

World Labs

Marble and Atlas

Inteligência espacial e ambientes 3D

Mundos 3D navegáveis e representações espaciais multimodais

World Labs (opens in a new tab)

A World Labs dedica-se à inteligência espacial e a modelos capazes de representar e reconstruir ambientes tridimensionais.

O trabalho em Marble explora a geração de mundos 3D navegáveis a partir de entradas como texto, imagens e vídeo.

A World Labs apresentou também investigação sobre representações espaciais multimodais, que ligam texto, imagens, vídeo e informação 3D num contexto espacial partilhado.

Esta direção sublinha a importância da representação espacial como base da compreensão de cenas, da reconstrução e da simulação futura.

Meta

V-JEPA

Modelação preditiva do mundo baseada em características

Representações aprendidas a partir de vídeo sem reconstruir cada píxel

Meta AI Research (opens in a new tab)

A investigação V-JEPA da Meta representa uma abordagem preditiva, baseada em características, à modelação do mundo.

Em vez de se centrarem apenas na geração de píxeis realistas, os sistemas ao estilo JEPA aprendem representações do mundo e preveem como essas representações podem mudar.

A abordagem interessa à compreensão física e ao planeamento, porque pergunta se é possível aprender conhecimento útil sobre o ambiente sem reconstruir cada detalhe visual.

A investigação V-JEPA insere-se num esforço mais amplo para desenvolver sistemas que aprendem com vídeo e com outras observações, de modo a compreender objetos, movimento e dinâmica do ambiente.

Tencent

HY-World

Geração multimodal de mundos 3D

Malhas, splats gaussianos 3D, navegação e reconstrução estereoscópica

Tencent Hunyuan (opens in a new tab)

A investigação HY-World da Tencent centra-se na geração e na reconstrução multimodais de mundos 3D.

O HY-World 2.0 aceita entradas que incluem texto, imagens de uma única vista, imagens de várias vistas e vídeo, e procura produzir representações de mundos 3D, como malhas e splats gaussianos 3D.

O fluxo de trabalho liga a geração de cenas, a navegação, a reconstrução estereoscópica e a representação 3D.

Por isso, interessa à criação de conteúdo espacial, à reconstrução de ambientes e à integração em fluxos de desenvolvimento 3D.

Runway

General World Models

Vídeo generativo rumo a uma simulação sensível à ação

Ambientes gerados, personagens virtuais e robótica

Runway Research (opens in a new tab)

A investigação General World Models da Runway explora várias direções, entre as quais ambientes gerados, personagens virtuais e robótica.

O objetivo mais amplo é ligar sistemas de vídeo generativo a ambientes que respondam à interação e apoiem tarefas de agentes incorporados.

Isto mostra como a investigação em geração de vídeo pode evoluir para uma simulação mais estruturada e sensível à ação, embora a geração visual, a simulação interativa e o controlo físico fiável continuem a ser capacidades distintas.

Wayve

GAIA

Modelação do mundo para a condução autónoma

Geração controlável e previsão para cenários de condução

Wayve (opens in a new tab)

A investigação GAIA da Wayve centra-se na modelação do mundo para a condução autónoma.

Os ambientes de condução reúnem interações complexas entre veículos, peões, traçado da estrada, condições meteorológicas e outros fatores dinâmicos.

Um modelo de mundo útil para a condução tem de representar não só o aspeto de uma cena, mas também a forma como ela pode evoluir perante decisões de condução diferentes.

A investigação GAIA estuda a geração controlável e a previsão em cenários de condução, para que os investigadores possam examinar situações alternativas e avaliar sistemas de condução autónoma.

Dreamer

Dreamer

Aprendizagem por reforço baseada em modelos

Modelos compactos da dinâmica e aprendizagem a partir de experiência imaginada

Dreamer project (opens in a new tab)

O Dreamer é uma família de investigação em aprendizagem por reforço baseada em modelos.

A ideia central é aprender um modelo compacto da dinâmica do ambiente e usar experiência imaginada para melhorar a tomada de decisão.

Em vez de o agente aprender apenas pela interação direta com o ambiente real, as abordagens ao estilo Dreamer permitem-lhe planear e aprender dentro de um modelo aprendido.

O Dreamer é, por isso, uma ligação importante entre os modelos de mundo e a aprendizagem por reforço.

Outras direções de investigação emergentes

O ecossistema mais amplo inclui também projetos que exploram ambientes interativos em tempo real, manipulação robótica, simulação de condução autónoma e previsão de vídeo condicionada pela ação.

Entre os exemplos contam-se a investigação da Odyssey sobre modelos de mundo interativos, o LingBot-World da Ant Group, o Matrix-Game da Skywork, o Oasis da Decart e a investigação WHAM da Microsoft.

Estes projetos mostram que o domínio não converge para uma única arquitetura. Equipas diferentes investigam combinações diferentes de geração, memória, geometria, previsão e controlo da ação.

Modelos de mundo e IA generativa tradicional

Os modelos de mundo e a IA generativa tradicional partilham muitas técnicas de base, mas os objetivos não são os mesmos.

Os sistemas generativos tradicionais são, em geral, concebidos para produzir um resultado concreto, como uma imagem, um vídeo ou um ativo 3D. Os modelos de mundo dão mais importância a representar o comportamento de um ambiente e a forma como pode mudar ao longo do tempo.

TecnologiaObjetivo principalResultado típico
Geração de imagens com IACriar conteúdo visualImagens
Geração de vídeo com IAGerar sequências visuais em movimentoClipes de vídeo
Geração 3DCriar ativos e cenas espaciaisMalhas, nuvens de pontos, splats gaussianos 3D
Modelos de mundo preditivosEstimar estados futuros do ambienteCaracterísticas latentes, previsões
Modelos de mundo interativosSimular ambientes que respondem a açõesAmbientes visuais ou espaciais dinâmicos
Modelos de mundo físicosRepresentar e prever interações físicasEstados simulados, previsões condicionadas pela ação

Estas categorias podem sobrepor-se. Um modelo de geração de vídeo pode passar a integrar um sistema de modelo de mundo, e um modelo de geração 3D pode fornecer a base espacial de uma simulação mais ampla. Os modelos de vídeo e os modelos de imagem abrangem a geração tradicional.

A distinção está naquilo para que o sistema foi concebido e naquilo em que é avaliado.

Um modelo que gera um vídeo realista de um carro em movimento demonstra geração visual. Um modelo que consegue prever como a posição do carro, o tráfego em redor e o ambiente mudam em resposta a diferentes ações de condução aborda um problema mais amplo de modelação do mundo.

Aplicações reais dos modelos de mundo

Os modelos de mundo estão a ser explorados em domínios nos quais os sistemas de IA precisam de compreender ambientes, antecipar eventos ou aprender através de interação simulada.

Aplicações de IA física dos modelos de mundo em robótica, condução autónoma e gémeos digitais industriais
Os modelos de mundo estão a ser explorados na robótica, na condução autónoma, na simulação industrial e noutras aplicações de IA física.

Robótica e IA incorporada

Os robôs operam em ambientes físicos, onde os objetos se podem mover, colidir, deformar ou comportar de forma imprevisível.

Um robô tem de compreender o que o rodeia e estimar as consequências das suas ações antes de manipular objetos ou de se deslocar num espaço.

Os modelos de mundo podem ajudar os robôs a:

  • Prever os resultados de alcançar, agarrar, empurrar ou mover objetos.
  • Avaliar trajetórias de movimento alternativas.
  • Aprender com interação simulada, em vez de dependerem apenas de ensaios físicos.
  • Gerar cenários de treino adicionais.
  • Adaptar-se a objetos e ambientes desconhecidos.

Uma direção de investigação particularmente importante é a ligação entre os modelos de mundo e as políticas de ação dos robôs. Nesse enquadramento, o modelo não se limita a gerar uma imagem futura: ajuda a estimar que ações podem produzir o resultado pretendido.

Condução autónoma

A condução autónoma implica interação contínua com um ambiente em mudança.

Os veículos têm de ter em conta a geometria da estrada, os sinais de trânsito, os peões, os outros veículos, as condições meteorológicas e os eventos inesperados.

Os modelos de mundo para a condução podem ajudar os investigadores a criar cenários controláveis, a examinar situações raras e a avaliar a resposta de um sistema autónomo a condições diferentes.

Por exemplo, um modelo pode simular um peão a entrar na faixa de rodagem, um veículo a mudar de faixa de repente ou uma condição meteorológica invulgar. Os investigadores podem então estudar decisões de condução alternativas sem terem de reproduzir cada cenário numa estrada real.

Jogos e ambientes virtuais

Os modelos de mundo interativos podem alterar a forma como os ambientes virtuais são criados.

Os ambientes de jogo tradicionais dependem muitas vezes de geometria, ativos, sistemas físicos e comportamentos definidos por guião, tudo concebido manualmente. Os modelos de mundo generativos investigam se partes deste processo podem ser aprendidas e geradas de forma dinâmica.

As direções de investigação possíveis incluem:

  • Ambientes gerados a partir de texto ou de imagens.
  • Geração contínua da cena à medida que o jogador se move.
  • Personagens não jogáveis mais reativas.
  • Ambientes dinâmicos que se adaptam às ações do utilizador.
  • Novas formas de narrativa interativa.

Estas capacidades ainda estão em desenvolvimento, e os ambientes gerados podem ainda não oferecer o comportamento determinista nem o controlo fino exigidos pelos motores de jogo convencionais.

Gémeos digitais e simulação industrial

Um gémeo digital é uma representação digital de um ativo, de um processo ou de um ambiente do mundo real.

Os modelos de mundo podem contribuir para os gémeos digitais ao melhorar a previsão e a simulação de condições em mudança.

Em contextos industriais, isto pode passar por modelar máquinas, linhas de produção, armazéns ou ambientes logísticos.

As aplicações possíveis incluem testar alterações operacionais, antecipar o comportamento do equipamento, estudar cenários de segurança e avaliar configurações diferentes antes de se fazerem alterações físicas.

Cinema, animação e produção virtual

Os modelos de mundo generativos podem também apoiar a produção criativa.

Ambientes espacialmente consistentes podem ajudar artistas e equipas de produção a explorar posições de câmara, a gerar variações de uma cena e a desenvolver locais virtuais.

A simulação interativa pode oferecer uma forma mais flexível de pré-visualizar ambientes e de ensaiar ideias visuais.

Os fluxos de trabalho de produção continuam, porém, a exigir controlo artístico preciso, resultados previsíveis e continuidade fiável. Estes requisitos não ficam automaticamente garantidos pelos sistemas generativos.

Investigação científica e educação

Os modelos de mundo podem abrir novas formas de estudar sistemas complexos e de visualizar resultados possíveis.

Na educação, os ambientes simulados podem ajudar a explicar relações espaciais, processos físicos e eventos dinâmicos.

Na investigação científica, os modelos preditivos podem apoiar a experimentação ao formularem hipóteses ou ao estimarem a evolução de um sistema em condições diferentes.

A fiabilidade destas aplicações depende de as previsões do modelo serem suficientemente precisas para o domínio em estudo.

Principais desafios técnicos

Apesar do progresso rápido, construir modelos de mundo fiáveis continua a ser um problema de investigação difícil.

Uma demonstração convincente num vídeo curto ou num ambiente controlado não mostra, por si, que um modelo consiga funcionar de forma fiável em situações desconhecidas.

Consistência temporal a longo prazo

Um modelo de mundo precisa de conservar a informação importante à medida que o ambiente evolui.

Os objetos não devem desaparecer ao acaso, mudar de identidade ou surgir em posições incoerentes. Os ambientes devem manter-se coerentes quando uma câmara se afasta e, mais tarde, regressa.

Pequenos erros de previsão podem acumular-se com o tempo e dificultar a simulação de horizonte longo.

Precisão física

O comportamento no mundo real é regido por propriedades e interações físicas.

Um modelo pode produzir um movimento visualmente plausível e, ainda assim, falhar a representação de respostas precisas a colisões, de atrito, de peso, de deformação ou de contacto entre objetos.

Isto é particularmente importante na robótica, em que um pequeno erro no movimento previsto pode fazer falhar a ação.

Compreensão espacial

Manter uma representação 3D coerente é outro desafio importante.

Um modelo pode gerar vistas individuais convincentes sem preservar com rigor a geometria de um ambiente quando o ponto de vista muda.

Uma compreensão espacial fiável exige consistência nas posições dos objetos, nas dimensões, nas relações de profundidade e na estrutura da cena.

Controlabilidade da ação

Um modelo de mundo interativo tem de responder de forma adequada às ações.

Se um agente dá um comando de movimento, o ambiente deve mudar de um modo consistente com essa ação.

O modelo tem também de distinguir ações possíveis diferentes e de prever consequências diferentes para cada uma.

Sem um condicionamento pela ação que seja fiável, um ambiente gerado pode parecer interativo e, ainda assim, deixar pouco controlo sobre a dinâmica subjacente.

Requisitos computacionais

Gerar e simular ambientes complexos pode exigir recursos de computação substanciais.

Vídeo de alta resolução, sequências de interação longas, várias vistas de câmara e respostas em tempo real aumentam a exigência computacional.

Para uma utilização prática, os modelos têm de equilibrar a qualidade da previsão, a latência, o uso de memória e os requisitos de hardware.

Qualidade e cobertura dos dados

Os modelos de mundo aprendem a partir de observações e de dados de interação.

Se os dados de treino não cobrem situações físicas importantes, tipos de objetos, ambientes ou eventos raros, as previsões podem tornar-se pouco fiáveis perante condições desconhecidas.

Recolher dados de interação reais e diversificados é dispendioso, sobretudo na robótica e na condução autónoma.

Avaliação e testes de referência

Não há uma única métrica que capte por completo a capacidade de um modelo de mundo.

A qualidade visual é útil para avaliar observações geradas, mas não mede, por si só, a precisão física, a controlabilidade da ação ou a utilidade para o planeamento.

A avaliação tem de ter em conta várias dimensões:

  • Consistência visual e espacial.
  • Coerência temporal.
  • Plausibilidade física.
  • Precisão da previsão de estados futuros.
  • Sensibilidade a ações diferentes.
  • Desempenho em sequências de interação mais longas.
  • Utilidade para tarefas do mundo real.

O domínio precisa, por isso, de testes de referência mais robustos, que meçam não só o que um modelo gera, mas também com que fiabilidade prevê e apoia decisões.

O futuro dos modelos de mundo de IA

A investigação sobre modelos de mundo orienta-se para sistemas que combinam perceção, previsão, raciocínio espacial e ação.

É provável que várias direções marquem a fase seguinte de desenvolvimento.

Representações do mundo de uso geral

Muitos modelos atuais são concebidos para ambientes ou tarefas específicos.

A investigação futura pode estudar representações mais gerais, capazes de se transferirem entre contextos, objetos e tipos de interação diferentes.

O objetivo é reduzir a necessidade de construir um modelo separado para cada ambiente ou cada aplicação.

Previsão de horizonte mais longo e memória

Um modelo de mundo útil deve reter informação importante durante períodos longos.

Isso inclui recordar a localização dos objetos, acompanhar as alterações de um ambiente e manter a consistência ao longo de várias ações.

Uma memória de prazo mais longo pode ajudar os modelos a sustentar tarefas mais complexas e interações em várias etapas.

Inteligência de mundo multimodal

Os modelos de mundo futuros podem articular de forma mais estreita vídeo, imagens, linguagem, dados espaciais, áudio e sinais de ação.

Isso pode ajudar os sistemas a ligar o que veem, o que ouvem, o que compreendem e o que conseguem fazer.

A modelação multimodal pode também facilitar a transferência de conhecimento entre ambientes e tipos de tarefas diferentes.

Simulação interativa em tempo real

A simulação interativa é uma direção importante para os modelos de mundo generativos.

O objetivo é criar ambientes que respondam de forma contínua ao movimento, a mudanças de câmara e a outras ações, mantendo uma estrutura de cena coerente.

Ganhos na velocidade de geração, na memória e na consistência espacial serão importantes para tornar estes sistemas mais úteis.

IA física e robótica

Uma das aplicações potenciais mais relevantes é a IA física.

Os robôs precisam de compreender não só o aspeto dos objetos, mas também a forma como estes respondem ao contacto, à força e ao movimento.

Os modelos de mundo podem permitir avaliar ações possíveis numa simulação interna antes de o robô as executar.

Isso pode tornar o treino mais eficiente e ajudar os sistemas a adaptarem-se a situações desconhecidas.

Sistemas do real para o virtual e do virtual para o real

Outra direção é a ligação entre as observações do mundo real e os ambientes simulados.

Um modelo pode reconstruir uma cena real, criar a representação virtual correspondente e usar esse ambiente para testar ações possíveis.

O desafio a longo prazo é garantir que o conhecimento aprendido em simulação se transfere de forma fiável para o mundo físico.

Ambientes agênticos e multiagente

Muitos ambientes reais incluem vários agentes, com objetivos e comportamentos diferentes.

Os modelos de mundo futuros podem ter de ter em conta interações entre pessoas, robôs, veículos e outros sistemas inteligentes.

Surgem assim desafios adicionais de previsão do comportamento, coordenação, incerteza e dinâmica complexa entre vários agentes.

Como avaliar o progresso dos modelos de mundo

À medida que o domínio avança, importa avaliar os modelos de mundo pelas capacidades que realmente têm, e não apenas pelas demonstrações visuais.

Um quadro de avaliação útil deve colocar várias perguntas.

Dimensão de avaliaçãoPergunta-chave
Consistência visualO ambiente gerado mantém-se visualmente coerente?
Consistência espacialAs posições dos objetos e as relações 3D preservam-se?
Consistência temporalO ambiente evolui sem acumular erros graves?
Plausibilidade físicaOs objetos comportam-se de acordo com as restrições físicas?
Controlabilidade da açãoO ambiente responde corretamente a ações diferentes?
Precisão preditivaO modelo consegue estimar estados futuros de forma fiável?
Utilidade para o planeamentoAs previsões ajudam um agente a escolher melhores ações?
GeneralizaçãoO desempenho transfere-se para ambientes desconhecidos?
EficiênciaO modelo consegue operar dentro de limites práticos de latência e de computação?

Estas dimensões estão relacionadas, mas não se substituem umas às outras.

Por exemplo, um modelo pode gerar ambientes visualmente impressionantes e, ainda assim, ter dificuldade nas interações físicas. Outro pode produzir uma imagem menos detalhada e, ao mesmo tempo, fornecer previsões úteis para o planeamento de um robô.

O progresso mais significativo virá de sistemas que mostrem um desempenho fiável em várias dimensões e um valor mensurável em tarefas reais.

Rumo a uma nova compreensão da inteligência

Os modelos de mundo de IA representam uma direção importante no desenvolvimento da inteligência artificial.

Mudam o foco: em vez da geração de resultados isolados, trata-se de aprender como os ambientes estão estruturados, como os eventos se desenrolam e como as ações podem mudar o mundo.

O domínio inclui muitas abordagens: simulação de vídeo generativa, previsão latente, reconstrução 3D, aprendizagem por reforço baseada em modelos e modelação de interações físicas. Cada uma contribui com uma peça diferente do desafio mais amplo.

Continua a existir uma distância significativa entre gerar um ambiente convincente e construir um modelo fiável do mundo físico. A consistência a longo prazo, a dinâmica precisa, a compreensão espacial, a controlabilidade e a transferência para o mundo real continuam a ser problemas de investigação em aberto.

À medida que estas tecnologias avançam, os modelos de mundo podem tornar-se uma base importante para a robótica, os sistemas autónomos, os ambientes interativos, a simulação científica e outras formas de comportamento inteligente.

O SeedVerse explora esta fronteira em evolução da inteligência artificial — a ciência, a investigação e as ideias por trás dos modelos que procuram compreender e simular o mundo.

Perguntas frequentes sobre modelos de mundo de IA

O que é um modelo de mundo de IA?

Um modelo de mundo de IA é uma representação aprendida de um ambiente e da respetiva dinâmica. Procura prever como o ambiente pode mudar e como ações diferentes podem afetar os estados futuros.

Em que é que um modelo de mundo difere de um modelo de geração de vídeo?

Um modelo de geração de vídeo produz, acima de tudo, sequências visuais. Um modelo de mundo ocupa-se de forma mais ampla da estrutura do ambiente e da previsão de como esse ambiente evolui. Alguns modelos de mundo usam a geração de vídeo como parte da abordagem, mas a geração visual, por si só, não demonstra uma compreensão fiável do mundo.

Os modelos de mundo são o mesmo que os modelos 3D?

Não. Um modelo 3D representa a geometria ou o aspeto de um objeto ou de um ambiente. Um modelo de mundo pode também representar mudanças temporais, interações e possíveis estados futuros. Alguns modelos de mundo usam representações 3D; outros apoiam-se em características latentes ou em observações geradas.

Os modelos de mundo conseguem simular a física?

Alguns modelos de mundo são concebidos para prever interações físicas, como o movimento, o contacto e a manipulação de objetos. A precisão física, porém, varia muito de sistema para sistema, e muitos modelos ainda têm dificuldade com dinâmicas complexas.

O que é um modelo de mundo interativo?

Um modelo de mundo interativo é um sistema que procura manter e atualizar um ambiente em resposta a ações ou a alterações introduzidas durante uma simulação. Isso pode incluir movimento, controlo de câmara, interações com objetos ou instruções em linguagem natural.

Para que servem os modelos de mundo?

As aplicações possíveis incluem a robótica, a condução autónoma, os ambientes virtuais, os jogos, os gémeos digitais, a simulação industrial, a geração de dados sintéticos e a investigação científica.

Que empresas desenvolvem modelos de mundo?

O trabalho de investigação e desenvolvimento inclui a Google DeepMind, a NVIDIA, a Meta, a World Labs, a Tencent, a Runway, a Wayve e outras organizações dedicadas à simulação generativa, à inteligência espacial, à modelação preditiva e à IA física.

Os modelos de mundo são de código aberto?

Alguns projetos disponibilizam pesos dos modelos, código, conjuntos de dados ou artigos científicos; outros estão disponíveis em pré-visualizações de investigação ou em plataformas comerciais. A disponibilidade e o licenciamento variam consoante o projeto e a versão.

Os modelos de mundo podem ajudar os robôs a aprender tarefas novas?

Potencialmente. Um modelo de mundo pode ajudar um robô a prever as consequências das ações, a comparar resultados possíveis e a aprender com interações simuladas. A investigação sobre modelos de mundo preditivos e sobre o planeamento de robôs segue esta direção, mas uma capacidade robótica de uso geral continua a ser um desafio em aberto.

Qual é o futuro dos modelos de mundo?

É provável que a investigação futura se concentre na consistência a prazo mais longo, numa previsão física mais precisa, na compreensão multimodal, na interação em tempo real, num melhor controlo da ação e numa transferência mais fiável entre ambientes simulados e físicos.

Explorar mais modelos de IA

Ver tudo