Welcome to ImgToVid AI

or
🎁Get 5 free credits after sign in

SeedWorld: ein KI-Weltmodell

SeedWorld ist ein Weltmodell. Es behält ein gelerntes Bild einer Szene und sagt voraus, wie sich diese Szene verändert, wenn etwas handelt: ein Schritt, eine Kameradrehung, ein Griff, eine Bremse. Öffentliche Weltmodelle werden genauso vorgestellt, von Ha und Schmidhubers World Models von 2018 und Dreamer bis zu Genie, Cosmos und V-JEPA. SeedWorld wird hier in dieser Sprache beschrieben. Der nächste Zustand hängt von der Aktion ab, nicht nur davon, dass das nächste Bild plausibel aussieht.

SeedWorld als Weltmodell, gezeigt als Zeichnung, die zu einer Küstenstadt wird
Eine Zeichnung wird zu einem Ort. SeedWorld befasst sich damit, diesen Ort stimmig zu halten, wenn sich Blick und Objekte ändern.

01 — Das Modell

SeedWorld sagt den nächsten Zustand voraus

Ein Weltmodell baut eine interne Darstellung einer Umgebung auf und sagt damit voraus, wie sich diese Umgebung verändert. Die nützliche Eingabe ist eine Szene zusammen mit einer Aktion. SeedWorld ist ein Modell dieser Art: Die Aktion gehört zur Frage, und die Antwort ist der nächste Zustand der Szene.

Sprachmodelle sagen das nächste Wort voraus. Videogeneratoren sagen aus einem Prompt einen plausiblen Pixellauf voraus. Das World-Models-Papier von 2018 und später Dreamer behandeln das Modell als kompakten Simulator, den man in der Vorstellung vorrollen kann. SeedWorld wird nach dieser Definition vorgestellt. Es ist kein Clipgenerator, der zufällig Bewegung zeigt.

Die öffentliche Literatur nähert sich derselben Definition aus drei Richtungen. Die Beschreibung von SeedWorld entlehnt alle drei:

  • Latente Dynamik. World Models von Ha und Schmidhuber, PlaNet und Dreamer lernen einen kleinen verborgenen Zustand und einen Übergang darin. Ein Agent kann dort planen, bevor er außerhalb des Modells handelt. SeedWorld nutzt diese Idee eines kompakten Zustands, der vorgerollt werden kann, statt jedes Pixel als Zustand zu behandeln.
  • Aktionsbedingtes Video. Die Genie-Reihe von DeepMind lernt interaktive Umgebungen aus Video, sodass eine Taste oder eine Kamerabewegung die nächsten Bilder verändert. NVIDIA Cosmos ist als World-Foundation-Modelle für physische Szenen gebaut: Fahren, Roboter und Industrie. Die sichtbare Ausgabe von SeedWorld wird genauso gelesen: Bilder, die der Aktion folgen sollen.
  • Eine Darstellung, nicht nur Pixel. Yann LeCuns Joint-Embedding Predictive Architecture und Metas V-JEPA sagen die nächste abstrakte Darstellung eines Videos voraus, statt jedes Pixel zu rekonstruieren. SeedWorld teilt dieses Urteil: Viel Pixeltiefe entscheidet nicht, was als Nächstes geschieht.

Die Prüfung, gegen die SeedWorld geschrieben wird

Ein überzeugendes Video kann die Aktion trotzdem ignorieren. Eine Ziegelwand und eine gemalte Wand können gleich aussehen, wenn ein Modell nur Texturen trifft. Arbeiten zu Weltmodellen nutzen eine strengere Prüfung, und sie gilt auch für SeedWorld: Wenn sich die Aktion ändert, ändert sich die Zukunft in der entsprechenden Weise? Objektpermanenz, Kontakt, Schwerkraft und der Grundriss eines Raums gehören dazu. Realistisch auszusehen ist nicht die ganze Beschreibung.

Physikalische Vorhersage bei SeedWorld, gezeigt mit Glaskugel, Wasser und Tiefe
Die physikalische Vorhersage von SeedWorld betrifft Masse, Kontakt und Licht, nicht nur ein hübsches nächstes Bild.

02 — Was es vorhersagt

Vier Teile der Beschreibung von SeedWorld

Mit diesen Fragen werden andere Weltmodelle beschrieben. Mit ihnen wird auch SeedWorld beschrieben.

Ein Zustand, latent oder sichtbar

Manche Weltmodelle sagen die nächsten Pixel voraus. Andere verdichten die Szene und sagen den latenten Zustand voraus; so rollt Dreamer die Zukunft vor. SeedWorld wird als beides beschrieben: ein Zustand, der fortgesetzt werden kann, und Bilder, die ein Mensch ansehen kann. Vorhergesagt wird der Zustand. Das Bild ist eine Art, ihn zu sehen.

Eine Aktion, von der die Zukunft abhängt

Bei Modellen im Stil von Genie kann die Aktion eine Taste oder eine Kamerapose sein. In Arbeiten zu Fahren und Robotik kann sie eine Trajektorie oder ein Gelenkbefehl sein. SeedWorld nimmt die Aktion in demselben Sinn als Eingabe. Dieselbe Geschichte mit zwei verschiedenen Aktionen sind zwei Fragen, und die vorhergesagten Zukünfte sollen auseinanderlaufen.

Gedächtnis, wenn sich der Blick bewegt

Ein Bild speichert keine Karte. Schwächere Videomodelle erfinden einen neuen Raum, wenn sich die Kamera abwendet. Explorative Weltmodelle werden über Objektpermanenz besprochen: Fußspuren, eine offene Tür, eine verschobene Kiste. SeedWorld wird mit diesem Gedächtnis beschrieben. Was hinter der Kamera war, gehört zum Zustand.

Aus Daten gelernte Physik

Eine Spiel-Engine schreibt Masse, Reibung und Kollision als Regeln. Gelernte Weltmodelle, auch solche für physische Szenen im Stil von Cosmos, nehmen die Regelmäßigkeiten aus Video, Roboterprotokollen oder Fahrdaten auf. SeedWorld steht auf dieser Seite. Es kann Szenen abdecken, die niemand aufgeschrieben hat, und wie andere gelernte Modelle Kontakt erfinden, der nie stattfand.

Vorhersage
Der nächste Zustand der Szene, als latenter Zustand fortgesetzt und als Bilder gezeigt
Bedingung
Eine Aktion über der aktuellen Beobachtung: eine Bewegung, ein Kamerawandel, eine Trajektorie oder ein Griff
Rollout
Der vorhergesagte Zustand wird zurückgegeben, damit die Zukunft länger als einen Schritt weitergeht
Worauf geachtet wird
Ob die Aktion die Zukunft ändert, ob Objekte bleiben und ob der Kontakt plausibel bleibt

03 — Die Vorhersagen

Vorhersagen, die von SeedWorld verlangt werden

Räumliches Gedächtnis von SeedWorld, gezeigt als verschneiter Weg und Glas nach bewegtem Blick
Sich umdrehen ist eine der Prüfungen. SeedWorld soll noch wissen, was hinter der Kamera war.

Wetter auf einer Oberfläche

Von einem trockenen Kopfsteinpflasterhof aus lautet die Veränderung „es beginnt zu regnen“. Ein Videomodell kann Streifen auf das Bild malen. SeedWorld ist auch dafür zuständig, ob die Steine dunkler werden, ob sich Wasser in den Senken sammelt und ob Licht auf dem nassen Boden zu spiegeln beginnt.

Ein Gegenstand und eine Ursache

In einer Werkstatt ist die Aktion, eine schwere Kiste von der Bank zu schieben. SeedWorld muss den Weg der Kiste, den Aufprall und das, was die Kiste trifft, fortsetzen. Der Blick zurück zur Tür soll denselben Raum zeigen. Das ist die Objektpermanenz-Prüfung, die auch für andere begehbare Weltmodelle gilt.

Drei Szenen, als Prüfungen gelesen

Ein Ort und sein Wetter

Szene: Eine Bibliothek an einer Klippe, Glastüren öffnen sich auf einen verschneiten Kiefernwald.

Was SeedWorld treffen muss: Nach einem Gang nach draußen und dem Umdrehen stimmen Fußspuren und der verlassene Raum noch mit dem Weg überein.

Kontakt zwischen Objekten

Szene: Ein Glastisch, eine Keramiktasse und ein Krug Wasser.

Was SeedWorld treffen muss: Ein Schieben bewegt die Tasse und nicht den Tisch, und Verschüttetes folgt der Fläche.

Eine Straße und ein Fahrzeug

Szene: Eine nasse Stadtkreuzung in der Dämmerung, mit Verkehr und einem Lieferroboter.

Was SeedWorld treffen muss: Zwei verschiedene Lenkaktionen ergeben zwei Zukünfte, die ein Fahrer als verschieden erkennt.

04 — Der Zusammenhang

Die Zusammenhänge, für die Weltmodelle geschrieben werden

Ein humanoider Roboter an einem nassen Übergang, die Art Szene, wenn Weltmodelle für Maschinen besprochen werden
Arbeiten zu Robotern und zum Fahren nutzen eine vorhergesagte Zukunft, damit eine Maschine eine Aktion erwägen kann, bevor sie sie ausführt. SeedWorld wird in diesem Zusammenhang beschrieben.

Szenen, durch die ein Mensch sehen kann

  • Interaktive Umgebungen. Modelle im Stil von Genie machen aus Video einen Ort, der auf Tasten oder Kamerabewegung reagiert. Die Szenen von SeedWorld werden in diesem Register beschrieben: Die nächsten Bilder sind eine Antwort, kein fertiger Clip, der abgespielt wird.
  • Bewegung durch einen Grundriss. Eine andere Linie von Weltmodellen beginnt bei einem Bild oder einer kurzen Beschreibung und versucht, den Grundriss stabil zu halten, während sich ein Blickpunkt bewegt. SeedWorld wird so beschrieben, dass dieser Grundriss in seinem Zustand bleibt.
  • Mehrere Agenten in einer Szene. Handeln mehr als ein Agent, muss jede vorhergesagte Zukunft die Veränderungen enthalten, die die anderen verursachen. Der Zustand von SeedWorld ist in diesem Sinn geteilt: eine Szene, mehr als eine Aktion.
  • Eine Einstellung, bevor sie gebaut wird. Filmemacher blocken Szenen schon in grobem 3D. Ein gelerntes Weltmodell wird dort besprochen, wenn Licht, Wetter und Kamerabewegungen von einer Fortsetzung zur nächsten stimmig bleiben. Diese Stimmigkeit gehört zur Beschreibung von SeedWorld.

Zukünfte, die eine Maschine vorrollen kann

  • Vorstellung, wie bei Dreamer. Dreamer aktualisiert Verhalten auf vorhergesagten Abläufen. Der Rollout von SeedWorld ist dasselbe Objekt: eine Zukunft, die im Modell fortgesetzt wird, bevor von einer Aktion außerhalb die Rede ist.
  • Seltene Fahrszenen. Aufgezeichnete Fahrdaten unterrepräsentieren Eis, Blendung und jemanden, der heraustritt. Weltmodelle werden als Weg untersucht, diese Szenen fortzusetzen. Die Straßenvorhersagen von SeedWorld werden an diesem Gebrauch gelesen: Die Bewegung muss der Aktion folgen.
  • Alternativen vergleichen. Modellprädiktive Regelung zieht viele Aktionsfolgen und rollt jede vor. SeedWorld ist das Modell, das diese nächsten Zustände liefern würde. Die Seite beschreibt keinen Regler, der darauf aufgebaut ist.

05 — Neben anderen Systemen

SeedWorld neben anderen Arten von Systemen

Diese Systeme können alle eine bewegte Szene zeigen. Sie beantworten verschiedene Fragen. Die Spalte SeedWorld sagt einen nächsten Zustand nach einer bestimmten Aktion voraus.

Handgebauter SimulatorVideogeneratorDarstellungsprädiktorSeedWorld
Was es vorhersagtDen nächsten Zustand aus aufgeschriebener PhysikEine plausible PixelreiheDie nächste Einbettung der SzeneDen nächsten Zustand der Szene nach einer bestimmten Aktion
Woher die Regeln kommenGleichungen und KollisionscodeStatistik des TrainingsvideosEin gelernter EinbettungsraumGelernte Regelmäßigkeiten, in der Art anderer Weltmodelle
Ändert die Aktion die Zukunft?Ja, durch die geschriebenen RegelnNur wenn der Prompt neu geschrieben und der Clip neu erzeugt wirdJa, im DarstellungsraumJa. Diese Antwort ist das, wofür SeedWorld da ist
Was angesehen werden kannEine gerenderte 3D-SzeneEin VideoMeist nichts VisuellesBilder und der Zustand, aus dem sie kommen
Wie darüber gesprochen wirdSpiele und Robotik-SandkästenEine fertige EinstellungPlanung und VideoverständnisAls Weltmodell: Vorstellung des nächsten Zustands

06 — Ein Schritt

Wie SeedWorld eine Vorhersage bildet

  1. 01

    Die aktuelle Beobachtung lesen

    Ein Bild, ein kurzes Video, eine Tiefenkarte oder der schon getragene latente Zustand. SeedWorld behandelt das als jetzt.

  2. 02

    Die Aktion als Bedingung nehmen

    Die Aktion ist eine Eingabe, wie bei Genie, bei Fahr-Weltmodellen und bei aktionsbedingtem V-JEPA. Zwei Aktionen aus derselben Beobachtung sind zwei Fragen.

  3. 03

    Den nächsten Zustand vorhersagen

    SeedWorld sagt den nächsten Zustand voraus und kann diese Vorhersage zurückgeben. Eine lange Fortsetzung zeigt, ob Gedächtnis und gelernte Physik halten.

07 — Fragen

Fragen zu SeedWorld

Welche Art Modell ist SeedWorld?

SeedWorld ist ein Weltmodell. Es sagt voraus, wie sich eine Szene nach einer Aktion verändert. Das ist die Definition, die für Dreamer, für Genie und für andere aktionsbedingte Modelle gilt: Der nächste Zustand hängt davon ab, was gerade getan wurde.

Ist SeedWorld ein Videogenerator?

Nein. Ein Videogenerator zieht einen Clip, der plausibel aussieht. SeedWorld wird danach beschrieben, ob die Zukunft der Aktion folgt. Ein realistischer Clip ohne Aktion in der Eingabe ist ein Video. Die Vorhersage von SeedWorld enthält die Aktion.

Worin unterscheidet sich SeedWorld von einer Spiel-Engine?

Eine Spiel-Engine schreitet eine Szene mit geschriebenen Regeln fort: Kollision, Schwerkraft, Materialien. SeedWorld nimmt diese Tendenzen wie andere gelernte Weltmodelle aus Daten auf. Engines sind innerhalb ihrer Regeln genau. Ein gelerntes Modell kann Szenen abdecken, die niemand skriptete, und es kann falschliegen.

Warum V-JEPA und latente Zustände?

V-JEPA sagt eine Darstellung des nächsten Augenblicks voraus statt jedes Pixels, weil viel Pixeltiefe die Entscheidung nicht ändert. SeedWorld wird aus demselben Grund mit einem latenten Zustand beschrieben. Die Bilder sind eine Ansicht dieses Zustands, kein Ersatz dafür.

Was ist ein Rollout für SeedWorld?

SeedWorld sagt einen Schritt voraus, behandelt diese Vorhersage als neue Gegenwart und sagt wieder voraus. Dreamer und modellprädiktive Regelung nutzen vorgestellte Zukünfte dieser Art, um verschiedene Aktionen zu vergleichen. Der Rollout gehört zum Modell, er ist kein eigener Produktschritt.

Warum würde SeedWorld einen Raum vergessen?

Ein Bild zeigt nur, was die Kamera jetzt sieht. Ohne Gedächtnis für Objekte und Grundriss darf das nächste Bild einen neuen Hintergrund erfinden. Konsistenz über einen langen Horizont ist ein offenes Problem von Weltmodellen überhaupt und eine der Prüfungen für SeedWorld.

Was ist SeedWorld nicht?

SeedWorld ist keine handgeschriebene Physik-Engine und kein Prompt-zu-Video-Modell. Es wird hier auch nicht als etwas beschrieben, das man bedient, abonniert oder an ein anderes System anschließt. Die Seite sagt nur, welche Art Modell es ist, in den Begriffen, die schon für andere Weltmodelle verwendet werden.

SeedWorld ist ein Modell des nächsten Zustands

SeedWorld nimmt die Szene und die Aktion und sagt voraus, was aus der Szene wird. Videogeneratoren, Spiel-Engines und Darstellungsmodelle beantworten jeweils eine benachbarte Frage. Die Frage, die SeedWorld zu den anderen Weltmodellen stellt, ist die Aktion: Die Zukunft ist durch sie bedingt.