分布流强化学习提升价值估计与策略
分布流强化学习:我们不仅在价值上强制贝尔曼一致性,还在价值生成流过程的每一步上强制这一致性。结果表明效果更好,能产生良好的价值分布,更准确地捕捉价值的分布,从而得到更好的策略。
试运行:收录范围与分类仍在校准,更新可能延迟。 最近内容更新:2026-11-04 17:28(北京时间)
分布流强化学习:我们不仅在价值上强制贝尔曼一致性,还在价值生成流过程的每一步上强制这一致性。结果表明效果更好,能产生良好的价值分布,更准确地捕捉价值的分布,从而得到更好的策略。
作者提出 Trusting Imagined Futures(TIF),一种面向 VLA 后训练的离线监督选择方法,用执行反馈审计世界模型预测的奖励。该方法由多维奖励模型给出候选效用分和五个执行质量维度,审计器结合奖励预测与不确定性识别高估模式,仅在效用优势超过阈值且审计风险达标时替换现有轨迹,否则保留原监督用于行为克隆。
Benedict Quartey 的论文提出,要让机器人可信自主规模化,需采用神经符号方法,把学习模型的泛化能力与符号结构结合。
研究提出 Teach-Abstract-Apply(TAA)框架,让操作者用自然语言教协作机器人新工作流,再把教过的流程抽象成可复用技能并迁移到不同场景。作者以协作搭建结构任务为案例,用开源权重模型 Qwen3-Coder 和闭源模型 GPT5.2-Codex 在自对弈与跨模型配置下评估,结果显示技能抽象提升了任务成功率并降低交互成本。初步的人类在环研究提示该流程也能处理人类指令,论文为预印本。
浙江大学沈春华团队联合中国电信人工智能研究院(TeleAI)与伽马智能白辰甲团队提出Graph-Reweighted Behavior Cloning(GR-BC),把同一任务的多次尝试构建成图,用反向Dijkstra搜索估计各状态到成功的剩余步数,再据此为动作片段加权训练VLA,该方法已被CoRL 2026接收,论文与代码已公开。
机器之心报道,Yann LeCun 参与提交的论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》从数学上论证下一 token 预测路线在形成跨模态表征上效率较低,并提出用 JEPA 的「好视图」训练改进对齐。
复旦大学等提出 RSI-Nav,用同一个视觉语言模型同时完成指令到动作与轨迹到指令的双向学习,让导航模型自行生成并筛选训练数据。仅用第一视角 RGB 输入,R2R-CE 与 RxR-CE 导航成功率分别达 68.6% 和 72.4%,较 Cold Start 模型提升 15.7 和 17.7 个百分点,R2R-CE 的 SPL 从 45.5% 升至 58.6%。
飞捷科思(Fysics AI)联合复旦大学认知与智能技术实验室提出统一世界动作模型 Fysiverse-UniWAM,不依赖大规模机器人预训练,将自主导航、移动操作与固定工位灵巧操作贯通。
研究团队发布 DualExam,将多模态智能体与世界模型放进受控评测流程,分别检查行动选择与环境响应。在 GPT-5.6 Sol 与 Seedance 2.5 直接交互的十种场景、150 个案例试验中,严格任务成功率为 0%,世界状态一致性为 26.6%,智能体纠正响应为 9.2%。
生成式价值分类器是一种新的Q函数参数化方式,无需动作条件。 我们认为这些分类器或许能与大规模预训练策略优雅地结合,并从更丰富的输出信号中更好地学习和泛化。 论文:https://alexanderswerdlow.github.io/gvc/
Turing Post 发布解读文章,介绍 Yann LeCun、Romina Yalovetzky 和 Randall Balestriero 提出的 LeHami,一种把哈密顿力学引入 JEPA 的世界模型。
Physical Intelligence 提出 RL tokens(RLT)方法,在 VLA 上增加一个 RL token 作为紧凑接口,让小型 actor 和 critic 网络在机器人上实时在线强化学习,无需微调整个模型。
关注价值:RLT 把在线强化学习压缩到数小时真机数据内,为 VLA 在精密操作阶段的快速适配提供了一条可复用路径。
Physical Intelligence 提出多尺度具身记忆方法 MEM,为 π0.6 模型同时加入短期原始观测记忆和长期自然语言笔记,使模型能处理最长十五分钟的任务。
关注价值:多尺度记忆让 VLA 在十五分钟级任务上保持进度与纠错,为长程操作提供可复用的记忆设计思路。
Physical Intelligence 基于 π 0.6 模型微调,尝试 Benjie Holson 提出的“机器人奥运会”日常操作任务,在 5 类任务中 3 类达到金牌任务水平、2 类达到银牌任务水平,多数任务数据采集不足 9 小时。
关注价值:原文用第三方提出的日常操作任务清单检验π 0.6微调效果,并给出与无机器人预训练基线的对比,可据此判断通用机器人预训练对下游任务的实际作用。
Physical Intelligence 在研究中发现,视觉-语言-动作(VLA)模型随机器人预训练数据规模扩大,会出现从人类视频到机器人任务的迁移能力。团队用 π0.5 做简单的人机联合微调,把人类视频中的动作表示为 3D 手部位置,在 4 个仅由人类数据展示的泛化场景中性能提升约 2 倍,且未使用专门的迁移机制。
关注价值:该研究显示人类视频到机器人的迁移随机器人预训练数据规模扩大而出现,为降低真机数据依赖提供了一条可复用路径。
Physical Intelligence 发布基于 π0.6 的视觉-语言-动作模型 π*0.6,采用 Recap 方法结合示范、遥操作纠错与强化学习,在自主经验上训练后部分最难任务的吞吐量提升一倍以上、失败率可降低一半以上。
关注价值:原文给出三个真实任务上的吞吐与成功率对比,可据此判断强化学习与纠错数据对 VLA 可靠性提升的实际幅度。