RFWorld:用免轨迹展开的世界模型评估端到端自动驾驶轨迹
作者提出 RFWorld,一种用于端到端轨迹评估的免轨迹展开世界模型,不再为每个候选轨迹递归预测未来状态。它构建共享场景记忆,通过训练时的轻量时序读出与语义监督形成可读未来表示,推理时候选轨迹以稀疏空间读出直接查询该记忆打分,计算量约降至规划时域与候选轨迹数之积的倒数,并避免递归展开误差累积。
关注价值:提出免轨迹展开的世界模型评分方法,为端到端规划降低推理开销提供了一条可比较的技术路线。
试运行:收录范围与分类仍在校准,更新可能延迟。 最近内容更新:2026-11-04 17:28(北京时间)
作者提出 RFWorld,一种用于端到端轨迹评估的免轨迹展开世界模型,不再为每个候选轨迹递归预测未来状态。它构建共享场景记忆,通过训练时的轻量时序读出与语义监督形成可读未来表示,推理时候选轨迹以稀疏空间读出直接查询该记忆打分,计算量约降至规划时域与候选轨迹数之积的倒数,并避免递归展开误差累积。
关注价值:提出免轨迹展开的世界模型评分方法,为端到端规划降低推理开销提供了一条可比较的技术路线。
作者提出 Trusting Imagined Futures(TIF),一种面向 VLA 后训练的离线监督选择方法,用执行反馈审计世界模型预测的奖励。该方法由多维奖励模型给出候选效用分和五个执行质量维度,审计器结合奖励预测与不确定性识别高估模式,仅在效用优势超过阈值且审计风险达标时替换现有轨迹,否则保留原监督用于行为克隆。
作者提出 PrimeSim,一个以动作为条件、支持多视角的世界模型模拟器,先基于预训练视频生成器,在 22 个平台、30,110 小时机器人演示上做中期训练,再做后训练。
关注价值:论文给出多视角一致性、长时序稳定性和跨本体迁移的具体指标,可用于判断动作条件世界模型能否充当策略训练模拟器。
作者提出 3D World Simulator,一个以动作为条件的多模态世界模型框架,从统一 3D 表示中同时预测外观、几何与触觉观测。该方法用混合粒子-体素自编码器把点云压缩为紧凑 3D 体素隐变量,再由动作条件隐动力学模型预测其演化,支持任意视角的几何一致渲染与空间对齐触觉信号接入。
关注价值:论文把外观、几何与触觉统一到同一 3D 表示中,读者可据此比较它与 2D 视频世界模型在空间一致性上的差异。
Hao Xue 等提出 AuroraWorld,用结构化 4D 世界建模从大规模外视角操作视频合成第一视角观测,以缓解第一视角数据采集的硬件与部署成本。作者指出,现有方法在大幅视角变换、严重遮挡、复杂物体交互和外视角观测稀疏的条件下,难以生成物理一致且与策略相关的第一视角视频。该文为 arXiv 预印本(arXiv:2611.00177),摘要未给出实验任务、数据集与量化指标。
NVIDIA 在开发者博客中介绍如何用 Cosmos 平台构建面向可交互仿真的世界模型。文章指出物理 AI 开发者面临两类问题:把世界模型适配到自有传感器、任务和数据,以及让模型可靠地进入应用。Cosmos 由世界基础模型和开发工具组成,其中 Cosmos Framework 提供用于世界模型训练的 agent 技能与配方。
Archetype AI 的 Newton 物理世界模型通过 AWS Marketplace 部署在客户自有 AWS 环境中,把振动、压力、温度、电流、雷达和视觉等多模态传感器信号转为实时运维判断。
Google DeepMind 发布世界模型 Genie 4,可在实时交互中生成画面与原生音频,并以自然语言实时改变天气、镜头和场景内容。
关注价值:Genie 4 把原生音频、实时语言操控与 Gemini 的推理串进同一个世界模型,读者可据此判断机器人训练环境正从像素生成走向可编程因果模拟。
World Labs 宣布已签署最终协议并入 AMD,交易预计在 2026 年底前完成,尚待监管批准及其他惯常交割条件。双方去年起在 AMD GPU 上开展模型训练与推理优化合作,合并后计划构建覆盖硬件、软件、平台与开放模型的端到端开放 AI 生态。
关注价值:世界模型团队并入芯片厂商,读者可据此观察空间智能研究与硬件算力结合后的路线变化。
松延动力推出具身智能子品牌 Scalabot,并以本体优势为基础发布该子品牌首个世界模型 HERON-World Model。官方新闻页未披露模型参数、训练数据与开放方式。
World Labs 发布下一代世界模型 Atlas,称其为从零预训练的多模态自回归扩散 Transformer,原生统一处理文本、图像、视频和 3D,将输入编码为共享空间上下文后再生成后续内容。
关注价值:统一架构把相机位姿与深度作为原生输入,其重建与可控生成结果可用于判断世界模型的路线选择。
World Labs 公布其收购的 SceniX 团队所建 real-to-sim-to-real(R2S2R)引擎的早期结果,称完全在仿真中训练的策略可在零真机训练数据下直接迁移到 ALOHA、YAM、RB-Y1、Flexiv、xArm 等不同机器人平台。
关注价值:World Labs 首次公开 R2S2R 引擎的早期结果,给出仿真训练策略直接迁移到多款真机并预测真机表现的证据,可供判断仿真数据能否成为机器人训练主来源。
1X 宣布成立 1X World Model Lab,专注通过大规模具身世界模型预训练加速全自主人形机器人。公司同时宣布 Sam Sinha 加入,担任创始 AI 研究员兼世界模型负责人,他此前是 Luma AI 创始研究科学家,参与多模态生成视频模型扩展及 Uni-1 相关工作。
关注价值:1X 把世界模型预训练单列为研究组织,并公开数据闭环思路,可观察人形机器人厂商自建基础模型的路径分化。
World Labs 团队发布文章,把当前被称为世界模型的能力拆成渲染器、模拟器和规划器三类,分别输出像素观测、世界状态和动作。文章认为模拟器关注度最低但最关键,是连接视觉渲染与机器人规划的桥梁,并以 Marble 同时输出 Gaussian splats 和碰撞网格为例说明边界正在融合。文中还指出三维数据稀缺、仿真到现实迁移差距和生成式模拟器的物理错误仍是待解难题。
关注价值:World Labs 把世界模型拆成渲染器、模拟器、规划器三类,并解释模拟器为何是连接视觉与行动的关键环节。
Berkeley AI Research 博客介绍 GRASP,一种面向学习动力学世界模型的梯度规划器,通过把轨迹提升为虚拟状态实现跨时间并行优化、对状态迭代加高斯噪声做探索,并绕开脆弱的状态输入梯度。
World Labs 发布 Spark 2.0,在 THREE.js 与 WebGL2 的 3DGS 渲染器中加入 Level-of-Detail 系统,按视角自动调整细节并经网络流式加载数据。
World Labs 发文提出 3D 是继文本之后人与机器描述和操作物理、虚拟世界的通用接口,并把 3D 表示类比为代码、神经图形类比为编程语言、仿真引擎类比为芯片。
World Labs 发布 World API,开发者可通过接口调用其多模态世界模型 Marble,从文本、单图、多图、360° 全景和视频生成可导航的 3D 世界。
关注价值:世界模型从演示走向可调用接口,机器人仿真环境的生成成本与规模是这条最直接的影响面。
World Labs 将两个月前预览的多模态世界模型 Marble 面向所有人开放,可输入文本、图像、视频或粗略3D布局生成完整3D世界,并支持交互式编辑、扩展与组合。
关注价值:从预览到全面开放并补上多模态输入与编辑导出,读者可据此判断生成式3D世界模型当前能做到什么程度。