SeedVerse:探索 AI 世界模型的世界
理解人工智能如何学习、预测并模拟世界。

人工智能正在超越只会识别图像、生成文本或制作短视频片段的系统。一个不断壮大的研究方向聚焦于更深层的问题:AI 系统能否学会世界如何运作、预判世界可能如何变化,并预测其中的动作会带来什么后果?
这正是 AI 世界模型 的核心思想。
世界模型旨在表征环境及其动态。依方法不同,它们可以预测未来的视觉观测、重建三维空间、模拟物理交互,或学习有助于智能体规划下一步动作的紧凑表征。
这一领域汇集了生成式 AI、计算机视觉、机器人、强化学习、空间智能与物理仿真中的思想。这些研究方向彼此相关,但所解决的问题并不完全相同。
SeedVerse 探索这一持续演进的领域:致力于理解并建模世界的 AI 系统背后的概念、技术、研究项目、应用与尚未解决的挑战。
什么是 AI 世界模型?
AI 世界模型是对环境以及支配其变化的过程所习得的表征。
世界模型并不只对当前输入作出响应,而是试图捕捉物体、事件、动作与未来状态之间的关系。它可以利用这种内部表征来估计接下来可能发生什么,或环境会如何响应某一特定动作。
例如,自动驾驶系统不能只在图像中识别出行人。它还需要估计行人的运动、理解周围的道路布局、预判与附近车辆可能发生的交互,并推理不同驾驶决策会如何影响当前局面。
世界模型可以从视觉观测、传感器数据、交互记录或仿真经验中学习环境变化的模式,从而支持这一过程。
超越视觉生成
世界模型有时会与图像和视频生成模型相混淆,因为两者都能产出逼真的视觉内容。然而,仅有视觉质量并不能说明系统已经学会了环境如何运作。
视频生成器或许能制作一段球在桌面上滚动的可信序列。能力更强的世界模型还需要表征球的运动如何与重力、摩擦、与其他物体的接触,以及外部动作所引起的变化相关联。
这种区分并不总是绝对的。有些世界模型以视频生成作为未来状态的主要表征,另一些则预测压缩特征或结构化三维信息,而不是生成完整图像。
关键问题并不只是模型能否生成逼真场景,而是当环境发生变化或智能体采取动作时,其预测是否仍然连贯且有用。
世界模型为何重要?
许多智能任务需要的不只是识别当下,还需要预判可能的未来。
世界模型之所以受到研究,是因为它们可能帮助 AI 系统:
- 预测物体与环境将如何随时间变化。
- 估计不同动作的后果。
- 在物理世界中行动之前规划任务。
- 生成合成环境与训练经验。
- 测试在现实中难以复现、成本高昂或不安全的场景。
- 构建能力更强的机器人、自主系统与交互式智能体。
当 AI 系统必须在动态、不确定且只能部分观测的环境中运行时,这些能力尤为重要。
世界模型如何工作?
并不存在一种所有世界模型共用的架构。不同系统以不同方式组合感知、表征学习、预测、记忆与动作条件。
可以把简化后的世界模型流程理解为若干相互衔接的阶段。
多模态感知
世界模型首先需要关于其所处环境的信息。
依系统不同,输入可能包括:
- 图像与视频帧。
- 文本描述与指令。
- 深度图与三维点云。
- 相机运动与空间信息。
- 机器人动作与传感器观测。
- 音频及其他环境信号。
多模态感知使模型能够结合不同信息来源,而不是把每一次观测都当作孤立的图像。
空间表征
理解一个场景需要的不只是识别单个物体。模型可能还需要表征它们的位置、尺寸、朝向、距离与相互关系。
例如,认出一把椅子,与理解它相对桌子位于何处、机器人能否够到它、以及被推动后会如何移动,是不同的问题。
空间表征可以有多种形式,包括:
- 二维与三维特征图。
- 深度与几何表征。
- 点云与 3D 高斯泼溅。
- 基于网格的环境。
- 以物体为中心的表征。
- 潜在空间嵌入。
不同表征在视觉细节、计算成本、几何精度与交互便利性之间各有取舍。

世界状态建模
从感知中收集的信息会被转化为对环境的内部表征。
这种表征可以描述物体、其属性、相互关系以及场景的当前状态。
有些模型显式表征物体与几何。另一些使用潜在空间,把环境信息压缩为学习得到的特征,这些特征并不必然对应人类可读的物体。
其目的是保留预测、规划或仿真所需的信息。
时间动态
世界并非静止。物体会移动,人会交互,车辆会改变方向,环境条件也会演化。
因此,世界模型需要学习状态如何随时间变化。
时间建模有助于捕捉如下模式:
- 人与车辆的运动。
- 物体位置与朝向的变化。
- 物体之间的交互。
- 物理事件的推进过程。
- 较早观测与较晚结果之间的关系。
如果模型生成的各帧单独看都很逼真,却失去了帧与帧之间的一致性,就可能难以表征一个连贯演化的环境。
未来状态预测
一旦模型学会了当前环境及其动态的表征,就可以尝试预测未来状态。
这些预测可以表示为未来视频帧、潜在特征序列、空间结构或其他形式的仿真观测。
系统可以估计车辆如何驶近路口、物体被推动后如何运动,或相机穿过虚拟环境时环境如何变化。
预测质量取决于模型能否在时间上保留相关信息,并处理不同于训练样本的情形。
动作条件建模
世界模型研究中最重要的方向之一是动作条件。
动作条件模型不只根据先前观测预测接下来会发生什么,还会考虑一种可能的动作。
例如:
- 如果机器人将手臂移向某个物体,会发生什么?
- 如果自动驾驶车辆变道,交通会如何响应?
- 当虚拟角色打开一扇门时,会发生什么?
- 物体从不同方向被推动时会如何表现?
这使得模型能够比较可能的结果,并支持规划。

AI 世界模型的主要类型
世界模型并不是单一类别的技术。可以按它们所表征的信息种类、所产生的输出,以及它们旨在支持的任务来分组。
这些类别相互重叠,单个研究系统也可能结合多种方法。
生成式世界模型
生成式世界模型产出未来观测或完整环境。
有些模型生成展示场景可能如何演化的视频序列。另一些则根据文本、图像或其他视觉输入创建虚拟环境。
它们的研究价值在于能够构建可能的世界,并生成可供探索、评估或用作合成数据的观测。
然而,生成视觉上令人信服的环境,并不自动意味着模型具备准确的物理动态或可靠的长期行为。
预测式与潜在世界模型
预测式世界模型侧重于估计未来状态,而不必然渲染每一个未来帧。
许多模型使用潜在表征:经过压缩的内部特征,用来捕捉与预测和决策相关的信息。
这种方法可以降低对特定任务并不重要的视觉细节进行建模的成本。
基于联合嵌入预测架构的研究,包括 JEPA 式方法,探索模型如何通过在特征空间中预测观测之间的关系来学习有用表征。
空间与三维世界模型
空间世界模型强调环境的结构与几何。
它们可以使用网格、点云或 3D 高斯泼溅等表征来重建或生成三维场景。
这些系统与场景重建、空间推理、虚拟制作、仿真和机器人相关。
三维表征可以保留依赖于相机的几何和空间关系,但并不必然提供完整的物理行为模型。几何与动态相关,却是不同的问题。
交互式世界模型
交互式世界模型对仿真过程中引入的动作或变化作出响应。
它们并不产出固定序列,而是试图在智能体或用户移动、改变相机或修改场景时,维持一个不断演化的环境。
重要的研究问题包括如何保持物体同一性、维持空间一致性、响应新指令,以及支持更长时间的交互。

物理世界模型
物理世界模型关注物体与环境在物理条件下如何表现。
相关因素可能包括:
- 重力与惯性。
- 碰撞与接触。
- 摩擦与滑动。
- 形变与材料属性。
- 力与运动。
- 物体操作与物理约束。
这些能力对机器人、自主系统以及其他形式的物理 AI 尤为重要。
基于模型的强化学习
在基于模型的强化学习中,智能体学习或使用其环境的模型来评估可能的动作。
该模型可以预测环境可能如何响应,使智能体能够在真实环境中行动之前,于内部仿真中进行规划。
这一研究方向在强化学习中已有很长的历史,至今仍是现代世界模型研究的重要基础。
领先的 AI 世界模型与研究项目
世界模型研究正沿着若干不同的技术方向发展。有些项目聚焦交互式视觉环境,有些聚焦空间重建、潜在预测、物理 AI 或动作条件仿真。
以下示例展示了这一领域的多样性。它们不应被当作可以直接互换的产品:其目标、架构、可用性与成熟度各不相同。
Google DeepMind
Genie
生成式交互环境
根据视觉或文本输入生成、并能对交互作出响应的环境
Google DeepMind (opens in a new tab)
Google DeepMind 的 Genie 研究探索能够根据视觉或文本输入生成交互环境的模型。
Genie 系列展示了一种生成式的世界建模方法:模型创建的环境能够响应导航及其他形式的交互。
其后继研究探索更高质量的交互环境、更好的时间一致性,以及更复杂的场景动态。
NVIDIA
Cosmos
面向物理 AI 的世界基础模型
多模态理解、合成数据、世界仿真与动作相关建模
NVIDIA Cosmos (opens in a new tab)
NVIDIA Cosmos 是为物理 AI 开发的一系列世界基础模型。
其研究方向把多模态理解、合成数据生成、世界仿真与动作相关建模连接起来。
更广泛的目标是为机器人、自动驾驶车辆与工业物理 AI 系统提供基础。在这些场景中,模型需要理解环境并预测它们可能如何变化。
NVIDIA 还发布了模型资源、代码与数据集,以支持研究与开发。
World Labs
Marble and Atlas
空间智能与三维环境
可导航的三维世界与多模态空间表征
World Labs (opens in a new tab)
World Labs 聚焦空间智能,以及能够表征并重建三维环境的模型。
其 Marble 工作探索根据文本、图像和视频等输入生成可导航的三维世界。
World Labs 还开展了多模态空间表征研究,在共享的空间语境中连接文本、图像、视频与三维信息。
这一方向表明,空间表征是场景理解、重建与未来仿真的重要基础。
Meta
V-JEPA
基于预测特征的世界建模
从视频中学习表征,而无需重建每一个像素
Meta AI Research (opens in a new tab)
Meta 的 V-JEPA 研究代表一种基于预测特征的世界建模方法。
JEPA 式系统并不只专注于生成逼真像素,而是学习对世界的表征,并预测这些表征可能如何变化。
这一方法与物理理解和规划相关,因为它探索有用的环境知识能否在不重建每一个视觉细节的情况下被学到。
V-JEPA 研究属于一项更广泛的努力:开发从视频及其他观测中学习的系统,以理解物体、运动与环境动态。
Tencent
HY-World
多模态三维世界生成
网格、3D 高斯泼溅、导航与立体重建
Tencent Hunyuan (opens in a new tab)
Tencent 的 HY-World 研究聚焦多模态三维世界的生成与重建。
HY-World 2.0 接受文本、单视图图像、多视图图像和视频等输入,旨在产出网格和 3D 高斯泼溅等三维世界表征。
其工作流把场景生成、导航、立体重建与三维表征连接起来。
这使它与空间内容创作、环境重建,以及与三维开发工作流的集成相关。
Runway
General World Models
从生成式视频走向具备动作感知的仿真
生成的环境、虚拟角色与机器人
Runway Research (opens in a new tab)
Runway 的 General World Models 研究探索若干方向,包括生成的环境、虚拟角色与机器人。
更广泛的研究目标是把生成式视频系统与能够响应交互并支持具身任务的环境连接起来。
这说明视频生成研究可能演进为更结构化、更具动作感知的仿真,尽管视觉生成、交互仿真与可靠的物理控制仍然是彼此不同的能力。
Wayve
GAIA
面向自动驾驶的世界建模
驾驶场景的可控生成与预测
Wayve 的 GAIA 研究聚焦面向自动驾驶的世界建模。
驾驶环境包含车辆、行人、道路布局、天气及其他动态因素之间的复杂交互。
有用的驾驶世界模型不仅要表征场景看起来如何,还要表征它在不同驾驶决策下可能如何演化。
GAIA 研究探索驾驶场景的可控生成与预测,帮助研究者考察备选情形并评估自动驾驶系统。
Dreamer
Dreamer
基于模型的强化学习
紧凑的动态模型,以及从想象经验中学习
Dreamer project (opens in a new tab)
Dreamer 是一个基于模型的强化学习研究系列。
其核心思想是学习环境动态的紧凑模型,并利用想象中的经验来改进决策。
Dreamer 式方法并不要求智能体只通过与真实环境的直接交互来学习,而是允许它在学到的模型内部进行规划与学习。
这使 Dreamer 成为连接世界模型与强化学习的重要一环。
其他新兴研究方向
更广泛的生态中,还有项目在探索实时交互环境、机器人操作、自动驾驶仿真以及动作条件视频预测。
例子包括 Odyssey 的交互式世界模型研究、Ant Group 的 LingBot-World、Skywork 的 Matrix-Game、Decart 的 Oasis,以及 Microsoft 的 WHAM 研究。
这些项目表明,该领域并非走向单一架构。不同团队正在研究生成、记忆、几何、预测与动作控制的不同组合。
世界模型与传统生成式 AI
世界模型与传统生成式 AI 共享许多底层技术,但二者的目标并不相同。
传统生成系统通常旨在产出特定输出,例如图像、视频或三维资产。世界模型更强调表征环境如何运作,以及环境可能如何随时间变化。
| 技术 | 主要目标 | 典型输出 |
|---|---|---|
| AI 图像生成 | 创建视觉内容 | 图像 |
| AI 视频生成 | 生成运动的视觉序列 | 视频片段 |
| 三维生成 | 创建空间资产与场景 | 网格、点云、3D 高斯泼溅 |
| 预测式世界模型 | 估计未来环境状态 | 潜在特征、预测 |
| 交互式世界模型 | 仿真会对动作作出响应的环境 | 动态的视觉或空间环境 |
| 物理世界模型 | 表征并预测物理交互 | 仿真状态、动作条件预测 |
这些类别可能相互重叠。视频生成模型可以成为世界模型系统的一部分,三维生成模型也可以为更大规模的仿真提供空间基础。视频模型与图片模型涵盖传统生成。
区分之处在于系统被设计并被评估来完成什么。
能够生成行驶中汽车的逼真视频,体现的是视觉生成能力。能够预测汽车的位置、周围交通与环境如何随不同驾驶动作而变化的模型,处理的是范围更广的世界建模问题。
世界模型的现实应用
在 AI 系统需要理解环境、预判事件或通过仿真交互进行学习的领域,世界模型正在被探索。

机器人与具身智能
机器人运行于物体可能移动、碰撞、形变或表现不可预测的物理环境中。
在操作物体或穿越空间之前,机器人必须理解周围环境,并估计自身动作的后果。
世界模型可能帮助机器人:
- 预测伸手、抓取、推动或移动物体的结果。
- 评估备选运动轨迹。
- 通过仿真交互来学习,而不是完全依赖物理试验。
- 生成额外的训练场景。
- 适应不熟悉的物体与环境。
一个尤为重要的研究方向,是世界模型与机器人动作策略之间的连接。在这一设定中,模型并不只是生成一张未来图像,而是帮助估计哪些动作能够产生期望的结果。
自动驾驶
自动驾驶涉及与不断变化的环境持续交互。
车辆必须考虑道路几何、交通信号、行人、其他车辆、天气以及意外事件。
驾驶世界模型可以帮助研究者创建可控场景、考察罕见情形,并评估自主系统在不同条件下如何响应。
例如,模型可以仿真行人进入道路、车辆突然变道,或异常的天气条件。研究者随后可以研究备选驾驶决策,而无需在真实道路上复现每一种场景。
游戏与虚拟环境
交互式世界模型可能改变虚拟环境的创建方式。
传统游戏环境往往依赖人工设计的几何、资产、物理系统与脚本化行为。生成式世界模型研究这一过程中的部分环节能否被学习并动态生成。
潜在的研究方向包括:
- 根据文本或图像生成的环境。
- 随着玩家移动而持续生成的场景。
- 响应更灵敏的非玩家角色。
- 随用户动作而适应的动态环境。
- 新形式的交互式叙事。
这些能力仍在发展之中,生成的环境可能尚未提供传统游戏引擎所要求的确定性行为或精细控制。
数字孪生与工业仿真
数字孪生是对现实世界中的资产、过程或环境的数字表征。
世界模型可以通过改进对变化条件的预测与仿真,为数字孪生作出贡献。
在工业场景中,这可能涉及对机械、生产线、仓库或物流环境进行建模。
潜在应用包括测试运营变更、预判设备行为、研究安全场景,以及在作出物理改动之前评估不同配置。
电影、动画与虚拟制作
生成式世界模型也可能支持创意制作。
空间上保持一致的环境可以帮助艺术家与制作团队探索机位、生成场景变体并开发虚拟地点。
交互式仿真可以提供一种更灵活的方式来预览环境并试验视觉构想。
然而,制作流程仍然需要精确的艺术控制、可预测的输出与可靠的连续性。生成式系统并不会自动保证这些要求。
科学研究与教育
世界模型可能提供研究复杂系统并可视化可能结果的新方式。
在教育中,仿真环境可以帮助解释空间关系、物理过程与动态事件。
在科学研究中,预测模型可以通过提出假设,或估计系统在不同条件下如何演化,来支持实验。
这些应用是否可靠,取决于模型的预测对所研究的领域是否足够准确。
主要技术挑战
尽管进展迅速,构建可靠的世界模型仍然是一个困难的研究问题。
在短视频或受控环境中令人信服的演示,并不能说明模型能够在不熟悉的情形中可靠运行。
长期时间一致性
世界模型需要在环境演化过程中保留重要信息。
物体不应随机消失、改变身份,或移动到前后不一致的位置。当相机离开后又返回时,环境应保持连贯。
微小的预测误差会随时间累积,使长时程仿真变得困难。
物理准确性
现实世界的行为受物理属性与交互支配。
模型可能产生视觉上合理的运动,却未能表征精确的碰撞响应、摩擦、重量、形变或物体接触。
这对机器人尤为重要,因为预测运动中的微小误差就可能导致动作失败。
空间理解
维持连贯的三维表征是另一项重大挑战。
模型可能生成令人信服的单个视角,却无法在不同视点之间准确保持环境的几何。
可靠的空间理解需要一致的物体位置、尺寸、深度关系与场景结构。
动作可控性
交互式世界模型必须对动作作出恰当响应。
如果智能体发出运动指令,环境应以与该动作一致的方式发生变化。
模型还必须区分不同的可能动作,并预测它们各自不同的后果。
如果没有可靠的动作条件,生成的环境看起来可以交互,对底层动态的控制却可能很有限。
计算需求
生成并仿真复杂环境可能需要大量计算资源。
高分辨率视频、长交互序列、多相机视角以及实时响应都会提高计算需求。
若要实际部署,模型必须在预测质量、延迟、内存占用与硬件要求之间取得平衡。
数据质量与覆盖
世界模型从观测与交互数据中学习。
如果训练数据缺少重要的物理情形、物体类型、环境或罕见事件,遇到不熟悉的条件时,其预测就可能变得不可靠。
收集多样的真实世界交互数据成本高昂,对机器人和自动驾驶尤其如此。
评估与基准测试
没有单一指标能够完整刻画世界模型的能力。
视觉质量有助于评估生成的观测,但无法单独衡量物理准确性、动作可控性或对规划的有用程度。
评估需要考虑多个维度:
- 视觉与空间一致性。
- 时间连贯性。
- 物理合理性。
- 未来状态预测的准确性。
- 对不同动作的敏感性。
- 在更长交互序列上的表现。
- 对现实任务的有用性。
因此,这一领域需要更稳健的基准,不仅衡量模型生成了什么,也衡量它预测并支持决策的可靠程度。
AI 世界模型的未来
世界模型研究正走向把感知、预测、空间推理与动作结合起来的系统。
若干方向很可能塑造下一阶段的发展。
通用世界表征
当前许多模型是为特定环境或任务设计的。
未来研究可能探索更能在不同场景、物体与交互类型之间迁移的通用表征。
目标是减少为每一种环境或应用单独构建模型的需要。
更长时程的预测与记忆
有用的世界模型应当在较长时间内保留重要信息。
这包括记住物体位置、跟踪环境中的变化,以及在多个动作之间保持一致性。
更长期的记忆可能帮助模型支持更复杂的任务与多阶段交互。
多模态世界智能
未来的世界模型可能更紧密地结合视频、图像、语言、空间数据、音频与动作信号。
这可以帮助系统把所见、所听、所理解与所能做的事情连接起来。
多模态建模也可能使知识更容易在不同环境与任务类型之间迁移。
实时交互仿真
交互式仿真是生成式世界模型的一个重要方向。
目标是创建能够持续响应运动、相机变化及其他动作,同时保持连贯场景结构的环境。
生成速度、记忆与空间一致性方面的改进,对让这些系统更加有用至关重要。
物理 AI 与机器人
最重要的潜在应用之一是物理 AI。
机器人需要理解的不只是物体的外观,还有物体如何对接触、力与运动作出响应。
世界模型可以提供一种方式,让机器人在执行动作之前,先在内部仿真中评估可能的动作。
这可能提高训练效率,并帮助系统适应不熟悉的情形。
现实到虚拟与虚拟到现实的系统
另一个方向是现实观测与仿真环境之间的连接。
模型可以重建真实场景,创建对应的虚拟表征,并利用该环境测试可能的动作。
长期挑战在于确保在仿真中学到的知识能够可靠地迁移到物理世界。
智能体与多智能体环境
许多真实环境中存在目标与行为各不相同的多个智能体。
未来的世界模型可能需要考虑人、机器人、车辆及其他智能系统之间的交互。
这带来了行为预测、协调、不确定性与复杂多智能体动态方面的额外挑战。
如何评估世界模型的进展
随着这一领域的发展,应当按照世界模型的实际能力来评估它们,而不是只依赖视觉演示。
一个有用的评估框架应当提出若干问题。
| 评估维度 | 关键问题 |
|---|---|
| 视觉一致性 | 生成的环境在视觉上是否保持连贯? |
| 空间一致性 | 物体位置与三维关系是否得到保持? |
| 时间一致性 | 环境在演化过程中是否没有累积重大误差? |
| 物理合理性 | 物体的行为是否符合物理约束? |
| 动作可控性 | 环境是否对不同动作作出正确响应? |
| 预测准确性 | 模型能否可靠地估计未来状态? |
| 对规划的有用性 | 其预测是否有助于智能体选择更好的动作? |
| 泛化 | 性能能否迁移到不熟悉的环境? |
| 效率 | 模型能否在实际的延迟与算力限制内运行? |
这些维度彼此相关,但不能互相替代。
例如,一个模型可能生成视觉上令人印象深刻的环境,却难以处理物理交互。另一个模型的视觉输出细节较少,却能为机器人规划提供有用的预测。
最有意义的进展,将来自在多个维度上表现可靠、并在真实任务中显示出可衡量价值的系统。
走向对智能的新理解
AI 世界模型代表人工智能发展中的一个重要方向。
它们把重点从生成孤立的输出,转向学习环境如何被组织、事件如何展开,以及动作如何改变世界。
这一领域包含多种方法:生成式视频仿真、潜在预测、三维重建、基于模型的强化学习,以及物理交互建模。每一种都为这一更广泛的挑战贡献了不同的部分。
在生成令人信服的环境与构建可靠的物理世界模型之间,仍然存在显著差距。长期一致性、准确的动态、空间理解、可控性,以及向现实世界的迁移,仍然是开放的研究问题。
随着这些技术不断推进,世界模型可能成为机器人、自主系统、交互环境、科学仿真以及其他形式智能行为的重要基础。
SeedVerse 探索人工智能这一不断演进的前沿——寻求理解并模拟世界的模型背后的科学、研究与思想。
关于 AI 世界模型的常见问题
什么是 AI 世界模型?
AI 世界模型是对环境及其动态所习得的表征。它旨在预测环境可能如何变化,以及不同动作可能如何影响未来状态。
世界模型与视频生成模型有何不同?
视频生成模型主要产出视觉序列。世界模型更广泛地聚焦于表征环境结构,并预测环境如何演化。有些世界模型把视频生成作为方法的一部分,但仅有视觉生成并不能确立对世界的可靠理解。
世界模型和三维模型是一回事吗?
不是。三维模型表征物体或环境的几何或外观。世界模型还可以表征随时间的变化、交互以及可能的未来状态。有些世界模型使用三维表征,另一些则依赖潜在特征或生成的观测。
世界模型能够模拟物理吗?
有些世界模型被设计用来预测物理交互,例如运动、接触与物体操作。然而,不同系统之间的物理准确性差异很大,许多模型仍然难以处理复杂动态。
什么是交互式世界模型?
交互式世界模型试图根据仿真过程中引入的动作或变化来维持并更新环境。这可能包括运动、相机控制、物体交互或自然语言指令。
世界模型有哪些用途?
潜在应用包括机器人、自动驾驶、虚拟环境、游戏、数字孪生、工业仿真、合成数据生成与科学研究。
哪些公司在开发世界模型?
相关的研究与开发工作包括 Google DeepMind、NVIDIA、Meta、World Labs、Tencent、Runway、Wayve,以及其他从事生成式仿真、空间智能、预测建模与物理 AI 的组织。
世界模型是开源的吗?
有些项目会发布模型权重、代码、数据集或研究论文,另一些则通过研究预览或商业平台提供。可用性与许可条款因项目和版本而异。
世界模型能帮助机器人学习新任务吗?
有可能。世界模型可以帮助机器人预测动作的后果、比较可能的结果,并从仿真交互中学习。围绕预测式世界模型与机器人规划的研究正在探索这一方向,但通用的机器人能力仍然是一个开放挑战。
世界模型的未来是什么?
未来研究很可能聚焦于更长期的一致性、更准确的物理预测、多模态理解、实时交互、更好的动作控制,以及仿真环境与物理环境之间更可靠的迁移。