Welcome to ImgToVid AI

or
🎁Get 5 free credits after sign in

SeedWorld : un modèle de monde en IA

SeedWorld est un modèle de monde. Il garde une image apprise d’une scène et prédit comment cette scène change quand quelque chose agit : un pas, un tour de caméra, une prise, un freinage. Les modèles de monde publics sont présentés de la même façon, des World Models de Ha et Schmidhuber en 2018 et de Dreamer jusqu’à Genie, Cosmos et V-JEPA. SeedWorld est décrit ici dans cette langue. L’état suivant dépend de l’action, et pas seulement du fait que l’image suivante ait l’air plausible.

SeedWorld, modèle de monde, illustré par un dessin qui devient une ville côtière
Un dessin devient un lieu. SeedWorld s’occupe de garder ce lieu cohérent quand le point de vue et les objets changent.

01 — Le modèle

SeedWorld prédit l’état suivant

Un modèle de monde construit une représentation interne d’un environnement et s’en sert pour prédire comment cet environnement change. L’entrée utile est une scène accompagnée d’une action. SeedWorld est un modèle de cette sorte : l’action fait partie de la question, et la réponse est l’état suivant de la scène.

Les modèles de langue prédisent le mot suivant. Les générateurs vidéo prédisent, à partir d’un prompt, une suite de pixels plausible. L’article World Models de 2018, puis Dreamer, traitent le modèle comme un simulateur compact que l’on peut dérouler dans l’imagination. SeedWorld est présenté selon cette définition. Ce n’est pas un générateur de clips qui se trouve montrer du mouvement.

La littérature publique approche la même définition par trois directions. La description de SeedWorld emprunte aux trois :

  • Dynamique latente. World Models de Ha et Schmidhuber, PlaNet et Dreamer apprennent un petit état caché et une transition dans cet état. Un agent peut y planifier avant d’agir hors du modèle. SeedWorld reprend cette idée d’un état compact que l’on peut dérouler, au lieu de traiter chaque pixel comme l’état.
  • Vidéo conditionnée par l’action. La série Genie de DeepMind apprend des environnements interactifs à partir de vidéo, de sorte qu’une touche ou un mouvement de caméra change les images suivantes. NVIDIA Cosmos est construit comme des modèles de fondation du monde pour des scènes physiques : conduite, robots et industrie. La sortie visible de SeedWorld se lit de la même façon : des images qui doivent suivre l’action.
  • Une représentation, pas seulement des pixels. L’architecture prédictive à plongements conjoints de Yann LeCun, et V-JEPA de Meta, prédisent la représentation abstraite suivante d’une vidéo au lieu de reconstruire chaque pixel. SeedWorld partage ce jugement : une grande part du détail des pixels ne décide pas de ce qui arrive ensuite.

Le test contre lequel SeedWorld est écrit

Une vidéo convaincante peut encore ignorer l’action. Un mur de briques et un mur peint peuvent se ressembler si un modèle ne fait qu’assortir des textures. Les travaux sur les modèles de monde utilisent un test plus strict, et c’est celui de SeedWorld : si l’action change, le futur change-t-il de la façon correspondante ? La permanence des objets, le contact, la gravité et le plan d’une pièce en font partie. Avoir l’air réel n’est pas toute la description.

Prédiction physique de SeedWorld, illustrée par une sphère de verre, de l’eau et de la profondeur
La prédiction physique de SeedWorld concerne la masse, le contact et la lumière, pas seulement une jolie image suivante.

02 — Ce qu’il prédit

Quatre parties de la description de SeedWorld

Ce sont les questions utilisées pour décrire d’autres modèles de monde. Ce sont aussi celles utilisées pour SeedWorld.

Un état, latent ou visible

Certains modèles de monde prédisent les pixels suivants. D’autres compressent la scène et prédisent l’état latent, ce qui est la façon dont Dreamer déroule le futur. SeedWorld est décrit comme faisant les deux : un état que l’on peut poursuivre, et des images qu’une personne peut regarder. Ce qui est prédit, c’est l’état. L’image est une façon de le voir.

Une action dont dépend le futur

Dans les modèles du type Genie, l’action peut être une touche ou une pose de caméra. Dans les travaux sur la conduite et la robotique, ce peut être une trajectoire ou une commande d’articulation. SeedWorld prend l’action comme entrée dans le même sens. La même histoire avec deux actions différentes, ce sont deux questions, et les futurs prédits doivent diverger.

La mémoire quand la vue se déplace

Une image ne stocke pas de carte. Les modèles vidéo plus faibles inventent une nouvelle pièce quand la caméra se détourne. Les modèles de monde orientés exploration sont discutés en termes de permanence des objets : empreintes, porte ouverte, caisse déplacée. SeedWorld est décrit avec cette mémoire. Ce qui était derrière la caméra fait partie de l’état.

Une physique apprise à partir des données

Un moteur de jeu écrit la masse, le frottement et la collision comme des règles. Les modèles de monde appris, y compris ceux entraînés pour des scènes physiques du type Cosmos, relèvent ces régularités dans la vidéo, les journaux de robots ou les données de conduite. SeedWorld est de ce côté. Il peut couvrir des scènes que personne n’a listées, et, comme d’autres modèles appris, inventer un contact qui n’a jamais eu lieu.

Prédiction
L’état suivant de la scène, poursuivi comme état latent et montré comme images
Condition
Une action au-dessus de l’observation actuelle : un déplacement, un changement de caméra, une trajectoire ou une prise
Déroulement
L’état prédit est réinjecté, pour que le futur continue au-delà d’un pas
Ce qui est vérifié
Si l’action change le futur, si les objets persistent, et si le contact reste plausible

03 — Les prédictions

Les prédictions demandées à SeedWorld

Mémoire spatiale de SeedWorld, illustrée par un chemin enneigé et du verre après un déplacement du point de vue
Se retourner est l’un des contrôles. SeedWorld est censé savoir encore ce qui était derrière la caméra.

Le temps sur une surface

Depuis une cour pavée sèche, le changement est « il se met à pleuvoir ». Un modèle vidéo peut peindre des traînées sur l’image. SeedWorld est aussi responsable de savoir si les pierres foncent, si l’eau s’accumule dans les creux, et si la lumière commence à se refléter sur le sol mouillé.

Un objet et une cause

Dans un atelier, l’action consiste à pousser une lourde caisse hors de l’établi. SeedWorld doit poursuivre la trajectoire de la caisse, le rebond, et ce que la caisse heurte. Regarder de nouveau la porte doit montrer la même pièce. C’est le contrôle de permanence des objets utilisé pour d’autres modèles de monde explorables.

Trois scènes, lues comme des tests

Un lieu et son temps

Scène : Une bibliothèque sur une falaise, des portes vitrées ouvertes sur une pinède enneigée.

Ce que SeedWorld doit réussir : Après une sortie et un demi-tour, les empreintes et la pièce quittée concordent encore avec le chemin.

Le contact entre objets

Scène : Une table en verre, une tasse en céramique et un pichet d’eau.

Ce que SeedWorld doit réussir : Une poussée déplace la tasse et non la table, et ce qui est renversé suit la surface.

Une rue et un véhicule

Scène : Un carrefour urbain mouillé au crépuscule, avec du trafic et un robot livreur.

Ce que SeedWorld doit réussir : Deux actions de direction différentes produisent deux futurs qu’un conducteur reconnaîtrait comme distincts.

04 — Le cadre

Les cadres dans lesquels on écrit les modèles de monde

Un robot humanoïde sur un passage mouillé, le genre de scène quand on discute des modèles de monde pour des machines
Les travaux sur les robots et la conduite utilisent un futur prédit pour qu’une machine puisse considérer une action avant de la faire. SeedWorld est décrit dans ce cadre.

Des scènes qu’une personne peut parcourir du regard

  • Environnements interactifs. Les modèles du type Genie transforment une vidéo en un lieu qui répond aux touches ou au mouvement de caméra. Les scènes de SeedWorld sont décrites dans ce registre : les images suivantes sont une réponse, pas un clip fini que l’on rejoue.
  • Se déplacer dans un plan. Une autre ligne de modèles de monde part d’une image ou d’une courte description et tente de garder le plan stable pendant qu’un point de vue se déplace. SeedWorld est décrit comme gardant ce plan dans son état.
  • Plusieurs agents dans une scène. Si plus d’un agent agit, chaque futur prédit doit inclure les changements causés par les autres. L’état de SeedWorld est partagé dans ce sens : une scène, plus d’une action.
  • Un plan considéré avant d’être construit. Les cinéastes bloquent déjà des scènes en 3D grossière. Un modèle de monde appris y est discuté quand la lumière, la météo et les mouvements de caméra restent cohérents d’une continuation à la suivante. Cette cohérence fait partie de la description de SeedWorld.

Des futurs qu’une machine peut dérouler

  • L’imagination, comme chez Dreamer. Dreamer met à jour le comportement sur des déroulés prédits. Le déroulé de SeedWorld est le même objet : un futur poursuivi à l’intérieur du modèle, avant de parler d’une action au-dehors.
  • Des scènes de conduite rares. Les données de conduite enregistrées sous-représentent le verglas, l’éblouissement et quelqu’un qui surgit. Les modèles de monde sont étudiés comme un moyen de poursuivre ces scènes. Les prédictions de rue de SeedWorld se lisent selon cet usage : le mouvement doit suivre l’action.
  • Comparer des alternatives. La commande prédictive échantillonne de nombreuses suites d’actions et déroule chacune. SeedWorld est le modèle qui fournirait ces états suivants. La page ne décrit pas un contrôleur construit par-dessus.

05 — À côté d’autres systèmes

SeedWorld à côté d’autres sortes de systèmes

Ces systèmes peuvent tous montrer une scène en mouvement. Ils répondent à des questions différentes. La colonne SeedWorld prédit un état suivant après une action précise.

Simulateur écrit à la mainGénérateur vidéoPrédicteur de représentationSeedWorld
Ce qu’il préditL’état suivant à partir d’une physique écriteUne suite de pixels plausibleLe plongement suivant de la scèneL’état suivant de la scène après une action précise
D’où viennent les règlesDes équations et du code de collisionLes statistiques de la vidéo d’entraînementUn espace de plongement apprisDes régularités apprises, à la manière des autres modèles de monde
L’action change-t-elle le futur ?Oui, par les règles écritesSeulement si le prompt est réécrit et le clip régénéréOui, dans l’espace des représentationsOui. Cette réponse est ce à quoi sert SeedWorld
Ce que l’on peut regarderUne scène 3D rendueUne vidéoEn général rien de visuelDes images, et l’état dont elles viennent
Comment on en parleJeux et bacs à sable robotiquesUn plan terminéPlanification et compréhension vidéoComme un modèle de monde : l’imagination de l’état suivant

06 — Un pas

Comment SeedWorld forme une prédiction

  1. 01

    Lire l’observation actuelle

    Une image, une courte vidéo, une carte de profondeur, ou l’état latent déjà porté. SeedWorld traite cela comme maintenant.

  2. 02

    Prendre l’action comme condition

    L’action est une entrée, comme pour Genie, pour les modèles de monde de conduite, et pour V-JEPA conditionné par l’action. Deux actions à partir de la même observation sont deux questions.

  3. 03

    Prédire l’état suivant

    SeedWorld prédit l’état suivant et peut réinjecter cette prédiction. Une longue continuation est l’endroit où la mémoire et la physique apprise tiennent ou se défont.

07 — Questions

Questions sur SeedWorld

Quelle sorte de modèle est SeedWorld ?

SeedWorld est un modèle de monde. Il prédit comment une scène change après une action. C’est la définition utilisée pour Dreamer, pour Genie et pour les autres modèles conditionnés par l’action : l’état suivant dépend de ce qui vient d’être fait.

SeedWorld est-il un générateur vidéo ?

Non. Un générateur vidéo échantillonne un clip qui a l’air plausible. SeedWorld est décrit selon que le futur suit l’action. Un clip réaliste sans action dans l’entrée est une vidéo. La prédiction de SeedWorld inclut l’action.

En quoi SeedWorld diffère-t-il d’un moteur de jeu ?

Un moteur de jeu fait avancer une scène avec des règles écrites : collision, gravité, matériaux. SeedWorld, comme les autres modèles de monde appris, relève ces tendances dans les données. Les moteurs sont exacts à l’intérieur de leurs règles. Un modèle appris peut couvrir des scènes que personne n’a scénarisées, et il peut aussi se tromper.

Pourquoi mentionner V-JEPA et les états latents ?

V-JEPA prédit une représentation de l’instant suivant au lieu de chaque pixel, parce qu’une grande part du détail des pixels ne change pas la décision. SeedWorld est décrit avec un état latent pour la même raison. Les images sont une vue de cet état, pas un substitut.

Qu’est-ce qu’un déroulé pour SeedWorld ?

SeedWorld prédit un pas, traite cette prédiction comme le nouveau présent, et prédit de nouveau. Dreamer et la commande prédictive utilisent des futurs imaginés de cette sorte pour comparer des actions. Le déroulé fait partie du modèle, ce n’est pas une étape de produit séparée.

Pourquoi SeedWorld oublierait-il une pièce ?

Une image ne montre que ce que la caméra voit maintenant. Sans mémoire des objets et du plan, l’image suivante est libre d’inventer un nouvel arrière-plan. La cohérence sur un long horizon est un problème ouvert des modèles de monde en général, et l’un des contrôles appliqués à SeedWorld.

Ce que SeedWorld n’est pas

SeedWorld n’est pas un moteur physique écrit à la main, et ce n’est pas un modèle qui passe d’un prompt à une vidéo. Il n’est pas non plus décrit ici comme quelque chose à faire fonctionner, à quoi s’abonner, ou à brancher sur un autre système. La page dit seulement quelle sorte de modèle c’est, avec les termes déjà utilisés pour les autres modèles de monde.

SeedWorld est un modèle de l’état suivant

SeedWorld prend la scène et l’action et prédit ce que devient la scène. Les générateurs vidéo, les moteurs de jeu et les modèles de représentation répondent chacun à une question voisine. La question qui place SeedWorld avec les autres modèles de monde, c’est l’action : le futur en dépend.