分布流强化学习提升价值估计与策略
分布流强化学习:我们不仅在价值上强制贝尔曼一致性,还在价值生成流过程的每一步上强制这一致性。结果表明效果更好,能产生良好的价值分布,更准确地捕捉价值的分布,从而得到更好的策略。
试运行:收录范围与分类仍在校准,更新可能延迟。 最近内容更新:2026-11-04 17:28(北京时间)
分布流强化学习:我们不仅在价值上强制贝尔曼一致性,还在价值生成流过程的每一步上强制这一致性。结果表明效果更好,能产生良好的价值分布,更准确地捕捉价值的分布,从而得到更好的策略。
The Humanoid Hub 独家介绍 @xiao_ted 的观点:即使 AGI 和通用机器人都实现,限制物理世界进展的仍是验证,也就是需要多久才能信任一个答案。他举例说,在仿真中,人形机器人用 15 分钟学会走路,但在真实世界里验证一条机器人策略可能超过 100 小时;因此,进展的速度取决于验证速度,而不是智能水平。
北京大学、清华大学等团队提出多粒度几何感知点云提示方法 GAPrompt++,冻结预训练3D视觉骨干、仅训练轻量提示模块与任务头完成下游适配。以 Point-PQAE 为例,其使用 0.6M 可训练参数,在 ScanObjectNN 最难的 PB_T50_RS 划分上准确率达 90.63%,较全量微调的 89.56% 提升 1.07 个百分点。
作者提出 Trusting Imagined Futures(TIF),一种面向 VLA 后训练的离线监督选择方法,用执行反馈审计世界模型预测的奖励。该方法由多维奖励模型给出候选效用分和五个执行质量维度,审计器结合奖励预测与不确定性识别高估模式,仅在效用优势超过阈值且审计风险达标时替换现有轨迹,否则保留原监督用于行为克隆。
作者提出 3D World Simulator,一个以动作为条件的多模态世界模型框架,从统一 3D 表示中同时预测外观、几何与触觉观测。该方法用混合粒子-体素自编码器把点云压缩为紧凑 3D 体素隐变量,再由动作条件隐动力学模型预测其演化,支持任意视角的几何一致渲染与空间对齐触觉信号接入。
关注价值:论文把外观、几何与触觉统一到同一 3D 表示中,读者可据此比较它与 2D 视频世界模型在空间一致性上的差异。
研究在 SO-101 机械臂的抓取放置任务上训练 ACT、Diffusion Policy、SmolVLA 和 π0.5(仅动作专家),用 12 至 200 条演示的嵌套子集对比留出验证损失与真机闭环成功率。
研究提出一套监督自主双臂机器人框架,用于低度脾创伤的电外科凝血止血,由人类保留监督、系统执行技术步骤。系统整合实时出血分割、无标记工具关键点跟踪和深度工具-组织接触检测,协调两条机械臂同步完成抽吸与电凝;在一种新型插管离体脾出血模型上对七处不同创伤测试,平均出血表面电凝覆盖率达 82.9%。作者据此说明监督自主双臂系统在创伤部位实施定点凝血具备可行性。
SPARK 是一个面向具身 RAG 的多回合纠错框架:首回合后由语义评审模块标记知识库区域,定向规划器生成重访,再按新观测对知识库做增删替换的选择性合并。
一篇立场论文将机器人基础模型的事后故障定位形式化为实际因果问题,提出由被干预内部组件、反事实值、偶然因素与读出构成的故障隔离查询元组及其良定义条件。作者指出当前机制可解释性方法假设偶然因素固定、仅读出即时效应,使备份路径掩盖实际原因,并用玩具示例展示这些缺陷会导致相互冲突的判定。基于良定义条件,论文列出四项开放研究任务以弥合概念-故障鸿沟。
Archon Robotics 提出面向精确稳定全身操作的人形控制器 Anchor 1,并配套发布覆盖多种全身协调需求的基准。该方法采用校准后的稀疏动作参考,不做在线关节空间重定向,以保留任务相关的人体动作结构;同时引入与动作编码解耦的显式误差反馈。
关注价值:该论文提出面向全身操作的人形控制器与配套基准,其真机跟踪误差下降幅度为评估控制精度提供了可对照的量化参照。
作者提出 LIFE(Lifelong Intelligence from Experience)框架,让机器人持续观察、选择性记忆并把经验转化为新能力。
Benedict Quartey 的论文提出,要让机器人可信自主规模化,需采用神经符号方法,把学习模型的泛化能力与符号结构结合。
研究提出 Teach-Abstract-Apply(TAA)框架,让操作者用自然语言教协作机器人新工作流,再把教过的流程抽象成可复用技能并迁移到不同场景。作者以协作搭建结构任务为案例,用开源权重模型 Qwen3-Coder 和闭源模型 GPT5.2-Codex 在自对弈与跨模型配置下评估,结果显示技能抽象提升了任务成功率并降低交互成本。初步的人类在环研究提示该流程也能处理人类指令,论文为预印本。
布里斯托大学团队用普通电动机搭建桌面物理模型,模拟肌肉中肌球蛋白与肌动蛋白的协调方式,成果发表于英国皇家学会期刊 Interface。模型中各电机间歇性接触共享机械骨架,无需直接通信便自发出现负载-速度关系、协调拉动与滑脱、以及沿阵列传播的协调波等类肌肉行为。研究者认为,这种由结构本身承担协调工作的思路或有助于改进机器人。
浙江大学沈春华团队联合中国电信人工智能研究院(TeleAI)与伽马智能白辰甲团队提出Graph-Reweighted Behavior Cloning(GR-BC),把同一任务的多次尝试构建成图,用反向Dijkstra搜索估计各状态到成功的剩余步数,再据此为动作片段加权训练VLA,该方法已被CoRL 2026接收,论文与代码已公开。
腾讯混元发布 Hyra 2.0,将自动化科研从直接解题转向由 agent 研发和升级科学模型、工作流与软件工具,成果持续公开在 GitHub 仓库。系统采用 Overall、Mission、Worker 三层分工,配合持久化队列、Research Board 与独立复核,并把可复用经验整理为 skill。
复旦大学等提出 RSI-Nav,用同一个视觉语言模型同时完成指令到动作与轨迹到指令的双向学习,让导航模型自行生成并筛选训练数据。仅用第一视角 RGB 输入,R2R-CE 与 RxR-CE 导航成功率分别达 68.6% 和 72.4%,较 Cold Start 模型提升 15.7 和 17.7 个百分点,R2R-CE 的 SPL 从 45.5% 升至 58.6%。
华盛顿大学团队构建了 SwapBot,让机器人通过更换可互换工具来处理复杂的接触密集任务,每次换工具约需 10 秒。工具经 3D 打印转接件和共享电磁接口连接,转接件与传感器材料成本约每件 10 美元;每个工具有独立训练的策略,依据相机图像和压力反馈控制动作,人可用对应手持工具示教。
Lerrel Pinto转发Edward Johns的内容称,机器人学习公司Machenta结束隐身状态并完成4000万美元种子轮,由Creandum和Union Square Ventures联合领投。Edward Johns称公司构建了一款机器人基础模型,仅凭一次演示、无需进一步训练即可学会任务,且完全在仿真中训练、未使用真实世界数据。Lerrel Pinto同时表示,instant、steering、in-context learning这类能力仍需要不少工作才能真正解决。
MIT 工程师设计出一款仿蛇运动的软体机器人小肠镜,可穿过狭窄的小肠完成成像、给药和切除小息肉或取活检。其执行器含四个气腔,通过充气组合控制伸展与弯曲,头尾锚定球囊配合剪纸结构涂层提供抓附力。动物实验中机器人行进约 6.5 英尺,并演示了喷药、组织夹与摄像头功能。
Raphael Memmesheimer 带领的 Team NimbRo 在 RoboCup 2026 的 RoboCup@Home 比赛中获得第三名,并凭论文《Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation》拿下最佳论文奖。
Ted Xiao 在 X 上表示,机器人要成为可部署技术,模型可能需要超越自然语言。他称自己一直看好把演示作为测试时模态,并提到 Machenta 过去几个月在这方面的进展。该帖引用了 Machenta 走出隐身状态、完成 4000 万美元种子轮融资并发布即时机器人学习模型的内容。
新加坡国立大学研究团队开发出名为 eLuminator 的超薄柔性电子皮肤,可将压力直接转换为可见光图案,从而实时显示接触位置和压力大小,无需外接显示屏或复杂信号处理。
韩国科学技术院(KAIST)团队研发了甲虫机器人 BeetleBot,其腿部与夹爪采用 3D 打印液晶弹性体(LCE)人造肌肉,加热后可收缩 45%。操作者佩戴柔性传感器贴片,通过手指动作发出前进、左转、右转和抓取四种指令,机器人摄像头实时回传视觉信息形成双向反馈。实验室测试中,BeetleBot 已完成转向、接近、抓取并搬运物体的任务。
北卡罗来纳州立大学研究团队研发出一款仿羽星水下机器人,仅用两个执行器和数条弹性肢体即可实现三维机动。论文通讯作者 Jie Yin 表示,通常这类运动至少需要六个执行器,该机器人依靠结构设计达成同等运动范围,是机械智能提升设计效率的案例。机器人具备水母模式、鱼模式和转子模式三种运动方式,分别对应升降与悬停、前后推进和原地转向,团队希望其用于水下探索、搭载相机和搬运物体等场景。
生成式价值分类器是一种新的Q函数参数化方式,无需动作条件。 我们认为这些分类器或许能与大规模预训练策略优雅地结合,并从更丰富的输出信号中更好地学习和泛化。 论文:https://alexanderswerdlow.github.io/gvc/
Sergey Levine 转发介绍一篇新论文,提出一种可计算的估计器,能从离线数据中估计 empowerment,即智能体在某个状态下拥有多少控制力。作者称该估计可作为无监督目标,用于学习各状态对达成多样结果的相对价值,并给出了若干应用;他同时指出这类估计此前难以做到可计算。论文链接为 https://t.co/O5tz9nQTsB。
MIT 教授 Pulkit Agrawal 与前 Google DeepMind 研究员 Tuomas Haarnoja 创办的 Eka Robotics 完成 1.5 亿美元 A 轮融资,由 a16z 和 F-Prime 领投,投后估值 14.5 亿美元。
关注价值:Eka 以视觉-力-动作模型和仿真强化学习路线拿到 1.45 亿美元 A 轮,读者可据此比较力觉路线与主流 VLA 路线的分歧。
Isaac Lab 3.0 正式发布,作为新项目的推荐基线,建立了跨多个物理、渲染和可视化后端的统一任务 API。核心变化是引入基于工厂的多后端架构,任务可在不改写逻辑的情况下切换 Newton(含 MuJoCo-Warp、VBD、MPM)或 PhysX 等后端;多数工作流无需安装 Isaac Sim 即可运行,完整 Isaac Sim 栈改为可选。
关注价值:多后端架构让物理、渲染与可视化解耦,并保留可选 Isaac Sim 全栈,下游项目可据此评估迁移成本。
UCLA Samueli 工程学院与密歇根大学的研究者造出一款长约 11 厘米、重 98.2 克的跳跃机器人,两条后肢由 Nitinol 杆弯成螺旋状,伺服电机扭转杆体储能后突然翻转释放能量完成跳跃。
Jim Fan 团队开源智能体机器人框架 ASPIRE V1.0,称其具备在真机上完成技能发现与自我改进的完整能力。作者提到,Astra 上线当天实验室切换后端模型后,多项基准在一夜之间达到约 99%;在机器人仿真基准上,Opus 5.5 略优于 Astra,Sonnet 5.5 则以每任务 12 美元的成本落在成本与机器人能力的帕累托前沿。
星海图 LEMO 双臂开发平台正式开售,首发定价 49,999 元。该平台集成双 A1Z 七自由度机械臂、G1Z 夹爪、多视角同步视觉系统与 CCU 控制器,支持同构遥操作、VR 接管和三路视觉同步采集,并提供 SDK、URDF 及开放接口,覆盖数据采集、模型训练到真机部署验证的完整开发链路。
UCLA 机器人与机构实验室(RoMeLa)在 arXiv 预印本中提出 PhoneBot,把智能手机当作双足机器人的躯干、眼睛和大脑。机器人高 48.3 厘米、重 1.8 公斤,含 13 个低成本伺服电机,手机通过 Wi-Fi 与机载小电脑通信并转发指令,相机负责视觉、IMU 负责平衡、处理器运行驱动关节的神经网络。
纽约大学 Tandon 工程学院团队研发出蠕虫机器人 WorMa,靠中段水泵在头尾两个乳胶水球间搬运 300 克水来改变重心。它长 50 厘米、重逾 1 公斤,可攀爬 19.5 度斜坡、在水中提速约 26%,并能爬上 15 厘米高的台阶。目前重心切换仍由外部控制,团队正提升泵速并计划加入地形感知传感器以实现自主移动。
Chelsea Finn 转发 Lars Ankile 关于机器人学习数据采集方法 Mulligan 的工作,指出机器人越可靠,DAgger 效率越低,例如 90% 成功率意味着人超过 90% 的时间在被动看机器人执行。其核心思路是失败往往来自相似的初始状态,可把学习集中在这些状态上;在 3 个真实任务和 2,550 次盲评中,同等预算下该方法优于均匀采集。论文链接为 arxiv.org/abs/2610.05882。
苏黎世联邦理工学院软体机器人实验室将 Wuji Technology 的商用灵巧手改造成完全自包含的机器人,靠指尖行走并用同一批手指操作环境。团队在仿真中用强化学习训练,针对手指长度不等设置各指相对掌心的目标位置并施加“虚拟弹簧”约束,另训练翻正、按键、推物三个模型并部署在板载 Raspberry Pi Zero 上。
MIT 研究人员提出 SANDO 轨迹规划系统,可在没有地图、存在未知移动障碍的环境中为无人机规划出数学上可证明无碰撞的飞行路径,成果发表于 IEEE Transactions on Robotics。
关注价值:该研究把未知动态环境下的避障安全从经验调参推进到可数学证明,并完成真机飞行验证。
KAIST 与微软亚洲研究院提出脑机接口方法 Neural Value Alignment(NVA),用脑电检测人对 AI 错误行为的反应并作为反馈让 AI 实时调整。
Boston Dynamics 发布 Atlas 新一代机械手,自由度从上一代 GR2 的 7 个提升到 GR3 的 13 个,采用四指设计、取消小指,关节为直驱且可反驱。
关注价值:原文公开了 Atlas 新一代手部的自由度、驱动与传感取舍,读者可据此判断工具使用路线对灵巧手设计的约束。
韩国科学技术院 Hwangbo Jemin 团队的四足机器人 RAIBO2 在韩国尚州马拉松中不换电、不充电完赛,用时 4 小时 19 分 52 秒,终点剩余 34% 电量,单次充电续航约 40 英里。