Welcome to ImgToVid AI

or
🎁Get 5 free credits after sign in

SeedWorld:AIワールドモデル

SeedWorldはワールドモデルです。場面について学んだ記述を持ち、何かが動いたときにその場面がどう変わるかを予測します。一歩、カメラの回転、つかむこと、ブレーキです。公開されているワールドモデルも同じように紹介されます。HaとSchmidhuberの2018年のWorld ModelsとDreamerから、Genie、Cosmos、V-JEPAまでです。ここではその言い方でSeedWorldを書きます。次の状態は動作に依存し、次のフレームがそれらしく見えることだけではありません。

ワールドモデルSeedWorldの図。絵が海岸の町になる
絵が場所になる図です。SeedWorldが扱うのは、視点や物体が変わってもその場所が矛盾しないことです。

01 — このモデル

SeedWorldは次の状態を予測する

ワールドモデルは環境の内部表現を作り、その環境がどう変わるかを予測します。役に立つ入力は、場面に動作が加わったものです。SeedWorldはこの種類のモデルです。動作は問いの一部で、答えは場面の次の状態です。

言語モデルは次の語を予測します。動画生成はプロンプトから、それらしい画素の流れを予測します。2018年のWorld Models論文と、その後のDreamerは、このモデルを、想像の中で先へ進められる小さなシミュレータとして扱います。SeedWorldはその定義で紹介されます。動きが映っているだけのクリップ生成器ではありません。

公開文献は同じ定義に三つの方向から近づきます。SeedWorldの記述はその三つを借りています。

  • 潜在ダイナミクス。 HaとSchmidhuberのWorld Models、PlaNet、Dreamerは、小さな隠れ状態とその遷移を学びます。エージェントはモデルの外で動く前に、そこで計画できます。SeedWorldが使うのはこの考えです。先へ進められるコンパクトな状態であり、すべての画素を状態とはみなしません。
  • 動作を条件にした動画。 DeepMindのGenie系は動画から対話的な環境を学び、キーやカメラの動きが次のフレームを変えます。NVIDIA Cosmosは、運転、ロボット、産業場面のためのワールド基盤モデルとして作られています。SeedWorldの見える出力も同じように読まれます。フレームは動作に従うべきものです。
  • 画素だけではない表現。 Yann LeCunの結合埋め込み予測アーキテクチャとMetaのV-JEPAは、すべての画素を再構成するのではなく、動画の次の抽象的な表現を予測します。SeedWorldも同じ判断を共有します。画素の細部の多くは、次に何が起きるかを決めません。

SeedWorldを書くときに使う検査

見栄えのよい動画でも、動作を無視できます。テクスチャを合わせているだけなら、レンガの壁と描いた壁は同じに見えます。ワールドモデルの論文はより厳しい検査を使い、SeedWorldもそれで書かれます。動作が変わったとき、未来はそれに対応して変わるか。 物体が残るか、接触、重力、部屋の間取りは、その検査に入ります。本物らしく見えることは、記述の全部ではありません。

SeedWorldの物理予測の図。ガラス球、水、深度
SeedWorldの物理予測は質量、接触、光についてのものであり、次のフレームがきれいなことだけではありません。

02 — 何を予測するか

SeedWorldの記述を分ける四つの部分

他のワールドモデルを書くときに使う問いです。SeedWorldを書くときにも使います。

状態。潜在か、見えるか

次の画素を予測するワールドモデルと、場面を圧縮して潜在状態を予測するワールドモデルがあります。Dreamerは後者で未来を先へ進めます。SeedWorldは両方として書かれます。続けられる状態と、人が見られるフレームです。予測されるのは状態です。フレームはその見方の一つです。

未来が依存する動作

Genie系では、動作はキーやカメラ姿勢になり得ます。運転やロボットの論文では、軌跡や関節指令になり得ます。SeedWorldは同じ意味で動作を入力にします。同じ履歴に二つの動作があれば二つの問いで、予測される未来は分かれるべきです。

視点が動いたときの記憶

フレームは地図を持ちません。弱い動画モデルは、カメラがそれると新しい部屋を作ります。探索型のワールドモデルは物体の永続で語られます。足跡、開いた戸、動かした箱です。SeedWorldもその記憶で書かれます。カメラの背後にあったものは状態の一部です。

データから学んだ物理

ゲームエンジンは質量、摩擦、衝突を規則として書きます。学習されたワールドモデルは、Cosmosのような物理場面向けのものも含め、動画、ロボットのログ、運転データから規則性を拾います。SeedWorldはその側にあります。規則にない場面を扱え、他の学習モデルと同じく、起きていない接触を作ることもあります。

予測
場面の次の状態。潜在状態として続き、フレームとして見える
条件
いまの観測の上の動作。移動、カメラの変化、軌跡、またはつかむこと
展開
予測した状態を戻し、未来を一歩より長く続ける
見ること
動作が未来を変えるか、物体が残るか、接触がもっともらしいか

03 — その予測

SeedWorldに求められる予測

SeedWorldの空間記憶の図。視点が動いたあとの雪の道とガラス
振り返ることは検査の一つです。SeedWorldは、カメラの背後に何があったかをまだ知っているべきです。

表面のうえの天候

乾いた石畳の中庭から、変化は「雨が降り始める」です。動画モデルはフレームに雨すじを描けます。SeedWorldは、石が暗くなるか、くぼみに水が溜まるか、光が濡れた地面に映り始めるかにも責任を持ちます。

物体と原因

作業場での動作は、重い木箱を作業台から押すことです。SeedWorldは箱の軌跡、跳ね返り、箱が当たったものを続ける必要があります。戸口を見れば、そこは同じ部屋であるべきです。これは、他の探索できるワールドモデルでも使われる物体の永続の検査です。

三つの場面を、検査として読む

場所と天候

場面: 崖の図書館。ガラス戸の向こうは雪の松林。

SeedWorldが合わせるべきこと: 外に出て振り返ったあと、足跡と出てきた部屋は、歩いた経路と一致している。

物体どうしの接触

場面: ガラスのテーブル、陶製のカップ、水の入ったピッチャー。

SeedWorldが合わせるべきこと: 押すと動くのはテーブルではなくカップで、こぼれた水は面に沿う。

通りと車両

場面: 夕暮れの濡れた交差点。車の流れと配送ロボット。

SeedWorldが合わせるべきこと: 二つの異なる操舵が、運転者には別のものとして分かる二つの未来を生む。

04 — 語られる場面

ワールドモデルが書かれる場面

濡れた横断歩道の人型ロボット。ワールドモデルが機械について語られるときの場面
ロボットと運転の論文は、予測された未来を使い、機械が動作する前にその動作を考えます。SeedWorldはその場面で記述されます。

人が見て回れる場面

  • 対話的な環境。 Genie系のモデルは、動画を、キーやカメラの動きに応答する場所に変えます。SeedWorldの場面はその言い方で書かれます。次のフレームは応答であり、再生し終える一本の映像ではありません。
  • 間取りの中を動く。 別のワールドモデルは、一枚の画像か短い説明から始め、視点が動いても間取りを安定させようとします。SeedWorldは、その間取りを状態の中に保つものとして書かれます。
  • 一つの場面に複数の主体。 複数が動くなら、予測されるそれぞれの未来は、他者が起こした変化を含まなければなりません。SeedWorldの状態はその意味で共有されます。一つの場面に、一つより多い動作です。
  • 作る前に考えるショット。 映画はすでに粗い3Dで場面を組み立てます。学習されたワールドモデルがそこで語られるのは、光、天候、カメラの動きが次の継続まで一致するときです。その一致は、SeedWorldの記述の一部です。

機械が先へ進められる未来

  • Dreamerのような想像。 Dreamerは予測された展開の上で行動を更新します。SeedWorldの展開は同じ種類のものです。未来はまずモデルの内部で続き、その外の動作はそれからです。
  • まれな運転場面。 記録された運転データには、凍結、まぶしさ、人が急に出ることが少ないです。ワールドモデルは、そうした場面を続ける方法として研究されます。SeedWorldの街路の予測はその用途に照らして読まれます。運動は動作に従わなければなりません。
  • 選択肢を比べる。 モデル予測制御は多くの動作列をサンプルし、それぞれを先へ進めます。SeedWorldは、それらの次の状態を出すモデルです。このページは、その上に作られた制御器については書きません。

05 — 他の仕組みと並べて

SeedWorldを他の種類の仕組みと並べる

これらの仕組みは、動く場面を見せられます。答えている問いは違います。SeedWorldの列は、特定の動作のあとの次の状態を予測します。

手書きシミュレータ動画生成表現の予測SeedWorld
何を予測するか書かれた物理からの次の状態それらしい画素の並び場面の次の埋め込み特定の動作のあと、場面の次の状態
規則の出どころ方程式と衝突のコード学習動画の統計学習された埋め込み空間学習された規則性。他のワールドモデルと同じ仕方
動作は未来を変えるか変える。書かれた規則を通してプロンプトを書き直し、クリップを作り直すときだけ変える。表現空間のなかで変える。その応答がSeedWorldの目的
見られるものレンダリングされた3Dの場面動画ふつう視覚的な出力はないフレームと、そのフレームが来る状態
どう語られるかゲームとロボットのサンドボックス仕上がったショット計画と動画理解ワールドモデルとして。次の状態の想像

06 — 一歩の予測

SeedWorldが一つの予測を作る仕方

  1. 01

    いまの観測を読む

    一フレーム、短い動画、深度、またはすでに持っている潜在状態。SeedWorldはそれを現在として扱います。

  2. 02

    動作を条件にする

    動作は入力です。Genie、運転のワールドモデル、動作条件つきのV-JEPAも同じです。同じ観測に二つの動作があれば、二つの問いです。

  3. 03

    次の状態を予測する

    SeedWorldは次の状態を予測し、その予測を戻すことができます。長く続けるほど、記憶と学んだ物理が持つかどうかが見えます。

07 — 質問

SeedWorldについての質問

SeedWorldはどの種類のモデルですか?

SeedWorldはワールドモデルです。動作のあと、場面がどう変わるかを予測します。Dreamer、Genie、その他の動作条件つきモデルが使う定義です。次の状態は、たった今されたことに条件づきます。

SeedWorldは動画生成ですか?

違います。動画生成は、それらしいクリップをサンプルします。SeedWorldは、未来が動作に従うかどうかで書かれます。動作の入力がなく、本物らしく見えるだけのクリップは動画です。SeedWorldの予測には動作が含まれます。

SeedWorldはゲームエンジンとどう違いますか?

ゲームエンジンは、誰かが書いた規則で場面を進めます。衝突、重力、材質です。SeedWorldは、他の学習されたワールドモデルと同じく、その傾向をデータから拾います。エンジンは持っている規則の内側では正確です。学習されたモデルは、誰も脚本を書いていない場面を扱え、間違えることもあります。

なぜV-JEPAと潜在状態に触れるのですか?

V-JEPAは、画素の細部の多くが判断を変えないため、すべての画素ではなく次の瞬間の表現を予測します。SeedWorldが潜在状態とともに書かれるのは同じ理由です。フレームはその状態の見方であり、状態の代わりではありません。

SeedWorldにとって展開とは何ですか?

SeedWorldは一歩を予測し、その予測を新しい現在として、また予測します。Dreamerとモデル予測制御は、この種類の想像された未来を使い、異なる動作を比べます。展開はモデルの一部であり、別の製品手順ではありません。

SeedWorldはなぜ部屋を忘れるのですか?

フレームが示すのは、カメラがいま見ているものだけです。物体と間取りの記憶がなければ、次のフレームは新しい背景を作れます。長い時間での一貫性はワールドモデル一般の未解決問題であり、SeedWorldに当てられる検査の一つです。

SeedWorldでないものは何ですか?

SeedWorldは手書きの物理エンジンではなく、プロンプトから動画を作るモデルでもありません。ここで、操作したり、購読したり、別のシステムにつないだりするものとしても書かれていません。このページが言うのは、それがどの種類のモデルかだけで、すでに他のワールドモデルに使われている言葉を使います。

SeedWorldは次の状態のモデルである

SeedWorldは場面と動作を受け取り、場面が何になるかを予測します。動画生成、ゲームエンジン、表現モデルは、それぞれ近い問いの一つに答えます。SeedWorldを他のワールドモデルと一緒に置く問いは、動作です。未来はそれに条件づきます。