3D World Simulator:混合粒子-体素动力学实现多模态 3D 世界模拟
作者提出 3D World Simulator,一个以动作为条件的多模态世界模型框架,从统一 3D 表示中同时预测外观、几何与触觉观测。该方法用混合粒子-体素自编码器把点云压缩为紧凑 3D 体素隐变量,再由动作条件隐动力学模型预测其演化,支持任意视角的几何一致渲染与空间对齐触觉信号接入。
关注价值:论文把外观、几何与触觉统一到同一 3D 表示中,读者可据此比较它与 2D 视频世界模型在空间一致性上的差异。
试运行:收录范围与分类仍在校准,更新可能延迟。
作者提出 3D World Simulator,一个以动作为条件的多模态世界模型框架,从统一 3D 表示中同时预测外观、几何与触觉观测。该方法用混合粒子-体素自编码器把点云压缩为紧凑 3D 体素隐变量,再由动作条件隐动力学模型预测其演化,支持任意视角的几何一致渲染与空间对齐触觉信号接入。
关注价值:论文把外观、几何与触觉统一到同一 3D 表示中,读者可据此比较它与 2D 视频世界模型在空间一致性上的差异。
Archon Robotics 提出面向精确稳定全身操作的人形控制器 Anchor 1,并配套发布覆盖多种全身协调需求的基准。该方法采用校准后的稀疏动作参考,不做在线关节空间重定向,以保留任务相关的人体动作结构;同时引入与动作编码解耦的显式误差反馈。
关注价值:该论文提出面向全身操作的人形控制器与配套基准,其真机跟踪误差下降幅度为评估控制精度提供了可对照的量化参照。
Isaac Lab 3.0 正式发布,作为新项目的推荐基线,建立了跨多个物理、渲染和可视化后端的统一任务 API。核心变化是引入基于工厂的多后端架构,任务可在不改写逻辑的情况下切换 Newton(含 MuJoCo-Warp、VBD、MPM)或 PhysX 等后端;多数工作流无需安装 Isaac Sim 即可运行,完整 Isaac Sim 栈改为可选。
关注价值:多后端架构让物理、渲染与可视化解耦,并保留可选 Isaac Sim 全栈,下游项目可据此评估迁移成本。
MIT 研究人员提出 SANDO 轨迹规划系统,可在没有地图、存在未知移动障碍的环境中为无人机规划出数学上可证明无碰撞的飞行路径,成果发表于 IEEE Transactions on Robotics。
关注价值:该研究把未知动态环境下的避障安全从经验调参推进到可数学证明,并完成真机飞行验证。
Boston Dynamics 发布 Atlas 新一代机械手,自由度从上一代 GR2 的 7 个提升到 GR3 的 13 个,采用四指设计、取消小指,关节为直驱且可反驱。
关注价值:原文公开了 Atlas 新一代手部的自由度、驱动与传感取舍,读者可据此判断工具使用路线对灵巧手设计的约束。
Skild AI 公布物理 AI 自博弈后训练结果:以旗舰机器人基础模型 S1 为底座、只给定“进球”这一目标,让策略在 NVIDIA Isaac Sim 中与自身近期版本对弈。
关注价值:这条结果把自博弈从数字 AI 带到人形机器人本体,读者可据此判断纯仿真自我对弈能否突破人类数据上限。
Skild AI 发布旗舰机器人基础模型 S1,该模型以视频演示作为任务提示,无需微调即可执行未见过、时长最长约 10 分钟的操作任务。官方称在 100k 小时预训练数据下,S1 在未见任务上的成功率为 66%,语言提示的 VLA 基线为 9%;在已见任务上 S1 达到 96%。单次演示的上下文学习效果约相当于 380 条后训练示范,后者需 50–100 小时遥操作采集。
关注价值:S1 用视频演示替代语言提示,并给出从 1k 到 100k 小时预训练数据的对比曲线,可供判断上下文学习路线与 VLA 路线的分歧。
Hugging Face 的 LeRobot 发布 v0.6.0,包含多项破坏性变更:pip install lerobot 不再默认包含数据集与训练依赖,需按需安装 lerobot[training] 等扩展,最低 PyTorch 版本升至 2.7,GR00T N1.5 被 N1.7 取代。
关注价值:从依赖拆分、RL 栈重构到新增多个基准与策略,读者可据此判断升级迁移成本与新增训练能力。
Physical Intelligence 提出 RL tokens(RLT)方法,在 VLA 上增加一个 RL token 作为紧凑接口,让小型 actor 和 critic 网络在机器人上实时在线强化学习,无需微调整个模型。
关注价值:RLT 把在线强化学习压缩到数小时真机数据内,为 VLA 在精密操作阶段的快速适配提供了一条可复用路径。
Physical Intelligence 提出多尺度具身记忆方法 MEM,为 π0.6 模型同时加入短期原始观测记忆和长期自然语言笔记,使模型能处理最长十五分钟的任务。
关注价值:多尺度记忆让 VLA 在十五分钟级任务上保持进度与纠错,为长程操作提供可复用的记忆设计思路。
Physical Intelligence 基于 π 0.6 模型微调,尝试 Benjie Holson 提出的“机器人奥运会”日常操作任务,在 5 类任务中 3 类达到金牌任务水平、2 类达到银牌任务水平,多数任务数据采集不足 9 小时。
关注价值:原文用第三方提出的日常操作任务清单检验π 0.6微调效果,并给出与无机器人预训练基线的对比,可据此判断通用机器人预训练对下游任务的实际作用。
Physical Intelligence 在研究中发现,视觉-语言-动作(VLA)模型随机器人预训练数据规模扩大,会出现从人类视频到机器人任务的迁移能力。团队用 π0.5 做简单的人机联合微调,把人类视频中的动作表示为 3D 手部位置,在 4 个仅由人类数据展示的泛化场景中性能提升约 2 倍,且未使用专门的迁移机制。
关注价值:该研究显示人类视频到机器人的迁移随机器人预训练数据规模扩大而出现,为降低真机数据依赖提供了一条可复用路径。
Physical Intelligence 发布基于 π0.6 的视觉-语言-动作模型 π*0.6,采用 Recap 方法结合示范、遥操作纠错与强化学习,在自主经验上训练后部分最难任务的吞吐量提升一倍以上、失败率可降低一半以上。
关注价值:原文给出三个真实任务上的吞吐与成功率对比,可据此判断强化学习与纠错数据对 VLA 可靠性提升的实际幅度。