Welcome to ImgToVid AI

or
🎁Get 5 free credits after sign in

SeedWorld:一个 AI 世界模型

SeedWorld 是一个世界模型。它保留对场景的一种学出来的描述,并预测有东西行动时场景会怎样变化:走一步、转一次镜头、做一次抓取、踩一次刹车。公开的世界模型也是这样介绍的,从 Ha 和 Schmidhuber 2018 年的 World Models 和 Dreamer,到 Genie、Cosmos 和 V-JEPA。这里用同一套说法来写 SeedWorld。下一状态取决于动作,而不只是让下一帧看起来合理。

世界模型 SeedWorld 的示意图:一幅画变成海滨小镇
一幅画变成一个场所。SeedWorld 关心的是,视角和物体变化时,这个场所仍然前后一致。

01 — 这个模型

SeedWorld 预测下一状态

世界模型为环境建立内部表示,并用它预测环境如何变化。有用的输入是场景再加上一个动作。SeedWorld 是这一类模型:动作是问题的一部分,答案是场景的下一状态。

语言模型预测下一个词。视频生成模型根据提示词预测一段看起来合理的像素。2018 年的 World Models 论文,以及后来的 Dreamer,把这种模型当成一个可以在想象中向前推演的紧凑仿真器。SeedWorld 按这个定义来介绍。它不是一个碰巧画面在动的片段生成器。

公开文献从三个方向接近同一个定义。SeedWorld 的写法借用了这三条:

  • 隐空间动力学。 Ha 和 Schmidhuber 的 World Models、PlaNet 和 Dreamer 学习一个较小的隐藏状态,以及其中的转移。智能体可以先在那里规划,再在模型之外行动。SeedWorld 用的是这个想法:可以向前推演的紧凑状态,而不是把每一个像素都当成状态。
  • 以动作为条件的视频。 DeepMind 的 Genie 系列从视频里学习可交互的环境,按键或镜头移动会改变接下来的画面。NVIDIA Cosmos 被做成面向物理场景的世界基础模型,用于驾驶、机器人和工业环境。SeedWorld 看得见的输出也按这个方式来读:画面应当跟着动作走。
  • 表示,而不只是像素。 Yann LeCun 的联合嵌入预测架构,以及 Meta 的 V-JEPA,预测视频下一时刻的抽象表示,而不是重建每一个像素。SeedWorld 共用这个判断:很多像素细节并不决定接下来发生什么。

用来写 SeedWorld 的那条检验

一段好看的视频仍然可以不理动作。如果模型只在匹配纹理,砖墙和画出来的墙可以看起来一样。世界模型的论文用一条更严的检验,写 SeedWorld 时也用这一条:动作变了,未来是否以相应的方式跟着变? 物体还在不在、接触、重力、房间布局,都在这条检验里。看起来真实并不是全部。

SeedWorld 的物理预测示意图:玻璃球、水和深度
SeedWorld 的物理预测关心质量、接触和光,不只是下一帧好不好看。

02 — 它预测什么

描述 SeedWorld 的四个部分

描述其他世界模型时用的就是这些问题。描述 SeedWorld 时也用它们。

状态,隐的或看得见的

有的世界模型预测下一帧像素,有的把场景压缩之后预测隐状态,Dreamer 就是这样把未来向前推的。SeedWorld 被写成同时承担这两件事:一个可以延续的状态,以及人可以看的画面。被预测的是状态。画面是查看它的一种方式。

未来所依赖的动作

在 Genie 这一类模型里,动作可以是按键或相机位姿。在驾驶和机器人的论文里,它可以是轨迹或关节指令。SeedWorld 以同样的含义把动作当作输入。同一段历史配上两个不同动作,就是两个问题,预测出的未来应当分开。

视角移动时的记忆

一帧并不存放一张地图。较弱的视频模型在镜头转开时会另造一个房间。探索式世界模型用物体恒存来讨论:脚印、打开的门、被挪走的箱子。SeedWorld 也按这种记忆来写。镜头背后刚才有什么,是状态的一部分。

从数据里学到的物理

游戏引擎把质量、摩擦和碰撞写成规则。学出来的世界模型,包括为 Cosmos 那种物理场景训练的模型,从视频、机器人日志或驾驶数据里归纳这些规律。SeedWorld 在这一边。它能覆盖规则没写到的场景,也和其他学出来的模型一样,可能编造从未发生的接触。

预测
场景的下一状态,以隐状态延续,并以画面呈现
条件
在当前观测之上的一个动作:移动、镜头变化、轨迹或一次抓取
推演
把预测出的状态再送回去,使未来可以延续不止一步
要看的
动作是否改变了未来,物体是否还在,接触是否说得通

03 — 那些预测

要求 SeedWorld 做出的预测

SeedWorld 的空间记忆示意图:视角移动之后的雪地和玻璃
转身是一种检验。SeedWorld 应当仍然知道镜头背后刚才有什么。

表面上的天气

从一座干燥的鹅卵石庭院出发,变化是“开始下雨”。视频模型可以在画面上画雨丝。SeedWorld 还要负责石头会不会变暗,低洼处会不会积水,光会不会开始反射在湿地面上。

物体和原因

在工作间里,动作是把一只沉重的木箱推下工作台。SeedWorld 要接上木箱的轨迹、落地后的弹跳,以及它碰到的东西。再看门口,应该还是同一个房间。这是其他可探索世界模型也使用的物体恒存检验。

三个场景,当作检验来读

一个场所和它的天气

场景: 悬崖上的图书馆,玻璃门通向一片下雪的松林。

SeedWorld 要对上的是: 走到门外再转身之后,脚印和离开的房间仍然与走过的路径一致。

物体之间的接触

场景: 一张玻璃桌、一只陶瓷杯、一壶水。

SeedWorld 要对上的是: 一推,动的是杯子而不是桌子,洒出的水顺着桌面走。

街道和车辆

场景: 黄昏时被雨打湿的城市路口,有车流和一台配送机器人。

SeedWorld 要对上的是: 两个不同的转向动作,得到驾驶员能分辨的两种未来。

04 — 讨论它的场合

世界模型被写进哪些场合

雨中路口上的人形机器人,世界模型讨论机器时常用的一类场景
机器人和驾驶的论文用预测出的未来,让机器在行动之前先考虑这个动作。SeedWorld 是在这个场合里被描述的。

人可以看进去的场景

  • 可交互的环境。 Genie 这一路的模型把视频变成会响应按键或镜头运动的场所。SeedWorld 的场景按这个口径来写:接下来的画面是一种响应,不是一段播完的成片。
  • 在布局里移动。 另一路世界模型从一张图或一段短描述出发,试图在视角移动时保持布局稳定。SeedWorld 被写成把这个布局留在它的状态里。
  • 一个场景里的多个主体。 如果不止一个主体在行动,每一个被预测的未来都要包含别人造成的变化。SeedWorld 的状态在这个意义上是共享的:一个场景,不止一个动作。
  • 在搭出来之前考虑一个镜头。 电影已经用粗略的三维来安排场面。学出来的世界模型在这里被讨论,是因为光线、天气和镜头运动能从一次延续到下一次。这种一致是 SeedWorld 写法的一部分。

机器可以向前推演的未来

  • 像 Dreamer 那样的想象。 Dreamer 在预测出的推演上更新行为。SeedWorld 的推演是同一类东西:未来先在模型内部延续,然后才谈模型之外的动作。
  • 少见的驾驶场景。 记录下来的驾驶数据里,结冰、眩光、有人突然走出都偏少。世界模型被研究为延续这些场景的一种方式。SeedWorld 的街道预测按这个用途来读:运动必须跟着动作走。
  • 比较不同的做法。 模型预测控制会采样许多动作序列,并把每一条向前推演。SeedWorld 是提供这些下一状态的那个模型。这一页不描述建在它上面的控制器。

05 — 和其他系统并列

SeedWorld 和其他类型的系统并列

这些系统都可能展示一段会动的场景。它们回答的问题不同。SeedWorld 那一列预测的是某个具体动作之后的下一状态。

手写仿真器视频生成表示预测SeedWorld
预测什么用写好的物理得到下一状态一段看起来合理的像素序列场景的下一个嵌入某个具体动作之后场景的下一状态
规则从哪来方程和碰撞代码训练视频里的统计学出来的嵌入空间学出来的规律,方式与其他世界模型相同
动作会改变未来吗会,通过写好的规则只有改写提示词并重新生成片段时才会会,在表示空间里会。这种响应就是 SeedWorld 要做的事
能看到什么渲染出来的三维场景一段视频通常没有可视画面画面,以及这些画面所来自的状态
怎样被讨论游戏和机器人沙盒一段完成的片子规划和视频理解作为一个世界模型:对下一状态的想象

06 — 一步预测

SeedWorld 怎样做出一次预测

  1. 01

    读取当前观测

    一帧、一段短视频、一张深度图,或已经带着的隐状态。SeedWorld 把这当作现在。

  2. 02

    把动作当作条件

    动作是输入,Genie、驾驶世界模型和带动作条件的 V-JEPA 也是这样。同一个观测配上两个动作,就是两个问题。

  3. 03

    预测下一状态

    SeedWorld 预测下一状态,并可以把这个预测再送回去。延续得越长,记忆和学到的物理就越会显出是否站得住。

07 — 问题

关于 SeedWorld 的问题

SeedWorld 是哪一种模型?

SeedWorld 是一个世界模型。它预测场景在一个动作之后如何变化。Dreamer、Genie 以及其他以动作为条件的模型用的就是这个定义:下一状态取决于刚刚做了什么。

SeedWorld 是视频生成模型吗?

不是。视频生成模型抽样出一段看起来合理的片子。SeedWorld 是按未来是否跟着动作走来写的。没有动作输入、只是看起来真实的片段,是视频。SeedWorld 的预测包含动作。

SeedWorld 和游戏引擎有什么不同?

游戏引擎用别人写好的规则推进场景:碰撞、重力、材质。SeedWorld 和其他学出来的世界模型一样,从数据里归纳这些倾向。引擎在它拥有的规则之内是确定的。学出来的模型能覆盖没人编写过的场景,也可能出错。

为什么要提到 V-JEPA 和隐状态?

V-JEPA 预测下一时刻的表示,而不是每一个像素,因为很多像素细节并不改变决定。SeedWorld 也按这个理由写成带有隐状态。画面是查看那个状态的一种方式,不能代替状态本身。

对 SeedWorld 来说,推演是什么?

SeedWorld 预测一步,把这个预测当作新的现在,再预测下一步。Dreamer 和模型预测控制使用的就是这种想象中的未来,用来比较不同动作。推演是模型的一部分,不是另外一个产品步骤。

SeedWorld 为什么会忘掉一个房间?

一帧只显示镜头此刻看见的东西。如果没有对物体和布局的记忆,下一帧就可以另造一个背景。长时程一致是世界模型普遍的未解决问题,也是用在 SeedWorld 上的检验之一。

SeedWorld 不是什么?

SeedWorld 不是手写的物理引擎,也不是从提示词生成视频的模型。这里也不把它写成可以去操作、去订阅或去接到另一个系统上的东西。这一页只说明它是哪一种模型,用的是其他世界模型已经在用的那些说法。

SeedWorld 是关于下一状态的模型

SeedWorld 接收场景和动作,预测场景会变成什么。视频生成、游戏引擎和表示模型各自回答一个邻近的问题。把 SeedWorld 和其他世界模型放在一起的那个问题,是动作:未来以它为条件。