NVIDIA 介绍如何用 Cosmos 构建可交互仿真的世界模型
NVIDIA 在开发者博客中介绍如何用 Cosmos 平台构建面向可交互仿真的世界模型。文章指出物理 AI 开发者面临两类问题:把世界模型适配到自有传感器、任务和数据,以及让模型可靠地进入应用。Cosmos 由世界基础模型和开发工具组成,其中 Cosmos Framework 提供用于世界模型训练的 agent 技能与配方。
试运行:收录范围与分类仍在校准,更新可能延迟。 最近内容更新:2026-11-04 17:28(北京时间)
NVIDIA 在开发者博客中介绍如何用 Cosmos 平台构建面向可交互仿真的世界模型。文章指出物理 AI 开发者面临两类问题:把世界模型适配到自有传感器、任务和数据,以及让模型可靠地进入应用。Cosmos 由世界基础模型和开发工具组成,其中 Cosmos Framework 提供用于世界模型训练的 agent 技能与配方。
智元发布具身基础模型 GO-3 Preview,基于自研 WRAM(World Reasoning Action Model)架构,统一任务理解、未来状态预测与动作生成,并称在 RoboDojo、RoboTwin、RoboColiseum 三项具身 AI 基准上排名第一,计划 2026 年底完全开源。
关注价值:GO-3 Preview 把预训练、后训练与部署后学习串成一条链路,并给出三项基准排名与开源时间,可供判断具身基础模型的训练范式走向。
Google DeepMind 发布世界模型 Genie 4,可在实时交互中生成画面与原生音频,并以自然语言实时改变天气、镜头和场景内容。
关注价值:Genie 4 把原生音频、实时语言操控与 Gemini 的推理串进同一个世界模型,读者可据此判断机器人训练环境正从像素生成走向可编程因果模拟。
智元在 2026 创新日上提出 Worken 机器人生产力框架,以活跃机器人数、自主工作小时数与产出效率比三项相乘衡量有效智能工作时长。公司同时发布第三代人形硬件架构 AHA3,集成运动、交互与作业智能的硬件基础,并包含 OmniHand 3 系列灵巧手与 OmniPicker 3 触觉夹爪。
关注价值:智元一次性公布硬件平台、基础模型、操作系统与部署案例,其中 Worken 指标框架提出按自主工时和任务产出衡量机器人价值。
Physical Intelligence 于 10 月 13 日发布 Pi API beta,开发者可上传数据、在官方托管的算力与基础设施上微调 π 系列模型,并通过托管网关调用微调后的模型做推理。
关注价值:原文披露了托管微调与推理的完整流程和早期合作方迭代周期,可据此判断机器人基础模型的分发方式变化。
Figure 发布 Helix 2.5,称其在 30 个未采集过数据的湾区家庭中零样本完成整理客厅、折毛巾、铺床三类全身任务。消融实验显示,在任务数据、架构和评测固定的情况下,仅 Index 人类行为数据预训练就把零样本成功率从 9% 提升到 56%;任务适配数据量为 Helix 02 同类行为的一半。
关注价值:Index 预训练单独把零样本成功率从 9% 提到 56%,给出了可复用的数据规模与迁移效果关系。
松延动力推出具身智能子品牌 Scalabot,并以本体优势为基础发布该子品牌首个世界模型 HERON-World Model。官方新闻页未披露模型参数、训练数据与开放方式。
World Labs 发布下一代世界模型 Atlas,称其为从零预训练的多模态自回归扩散 Transformer,原生统一处理文本、图像、视频和 3D,将输入编码为共享空间上下文后再生成后续内容。
关注价值:统一架构把相机位姿与深度作为原生输入,其重建与可控生成结果可用于判断世界模型的路线选择。
众擎机器人在2026年世界机器人大会上发布“仿人脑”具身智能引擎EngineAI Awaken,CTO李力耘首次系统阐释公司全栈具身智能技术路线与全新AI模型架构。
Skild AI 发布旗舰机器人基础模型 S1,该模型以视频演示作为任务提示,无需微调即可执行未见过、时长最长约 10 分钟的操作任务。官方称在 100k 小时预训练数据下,S1 在未见任务上的成功率为 66%,语言提示的 VLA 基线为 9%;在已见任务上 S1 达到 96%。单次演示的上下文学习效果约相当于 380 条后训练示范,后者需 50–100 小时遥操作采集。
关注价值:S1 用视频演示替代语言提示,并给出从 1k 到 100k 小时预训练数据的对比曲线,可供判断上下文学习路线与 VLA 路线的分歧。
World Labs 公布其收购的 SceniX 团队所建 real-to-sim-to-real(R2S2R)引擎的早期结果,称完全在仿真中训练的策略可在零真机训练数据下直接迁移到 ALOHA、YAM、RB-Y1、Flexiv、xArm 等不同机器人平台。
关注价值:World Labs 首次公开 R2S2R 引擎的早期结果,给出仿真训练策略直接迁移到多款真机并预测真机表现的证据,可供判断仿真数据能否成为机器人训练主来源。
逐际动力发布机器人 OS COSA 0.5,其中 VLA-tools 层 V³-0 运行在 43 自由度的 LimX 人形机器人 Oli 上,统一移动与操作,可完成行走、弯腰及单手或双手操作。
关注价值:逐际动力披露 V³-0 在 43 自由度 Oli 上的全身移动操作与人类在环真机强化学习闭环,可观察人形 VLA 的工程路线。
1X 宣布成立 1X World Model Lab,专注通过大规模具身世界模型预训练加速全自主人形机器人。公司同时宣布 Sam Sinha 加入,担任创始 AI 研究员兼世界模型负责人,他此前是 Luma AI 创始研究科学家,参与多模态生成视频模型扩展及 Uni-1 相关工作。
关注价值:1X 把世界模型预训练单列为研究组织,并公开数据闭环思路,可观察人形机器人厂商自建基础模型的路径分化。
Figure 演示两台搭载 Helix-02 的人形机器人在不到两分钟内协同整理卧室,完成开门、挂衣、收纳耳机、合书、倒垃圾、推椅入桌和共同铺床等任务。两台机器人运行同一个学习得到的视觉-语言-动作策略,彼此之间没有共享规划器、消息传递或中央协调器,各自通过自身摄像头读取场景并从对方动作推断意图。
关注价值:原文展示了单一学习策略在无中央协调下完成双人形机器人协同整理房间,可据此判断多机协作路线的进展。
Physical Intelligence 发布通用机器人模型 π0.7,称其在泛化能力上出现跃升。该模型通过任务语言、速度与质量元数据、控制模态标签和视觉子目标等多模态提示统一利用不同机器人数据、人类视频与自主数据,单模型在叠衣物、做浓缩咖啡、折箱子等任务上达到或超过经 RL 训练的 π*0.6 专用模型。
关注价值:π0.7 把多模态提示统一为一个可控接口,读者可据此判断机器人基础模型的泛化路线是否真在向 LLM 式组合能力靠拢。
World Labs 发布 World API,开发者可通过接口调用其多模态世界模型 Marble,从文本、单图、多图、360° 全景和视频生成可导航的 3D 世界。
关注价值:世界模型从演示走向可调用接口,机器人仿真环境的生成成本与规模是这条最直接的影响面。
World Labs 将两个月前预览的多模态世界模型 Marble 面向所有人开放,可输入文本、图像、视频或粗略3D布局生成完整3D世界,并支持交互式编辑、扩展与组合。
关注价值:从预览到全面开放并补上多模态输入与编辑导出,读者可据此判断生成式3D世界模型当前能做到什么程度。