分布流强化学习提升价值估计与策略
分布流强化学习:我们不仅在价值上强制贝尔曼一致性,还在价值生成流过程的每一步上强制这一致性。结果表明效果更好,能产生良好的价值分布,更准确地捕捉价值的分布,从而得到更好的策略。
试运行:收录范围与分类仍在校准,更新可能延迟。 最近内容更新:2026-11-04 17:28(北京时间)
分布流强化学习:我们不仅在价值上强制贝尔曼一致性,还在价值生成流过程的每一步上强制这一致性。结果表明效果更好,能产生良好的价值分布,更准确地捕捉价值的分布,从而得到更好的策略。
研究在 SO-101 机械臂的抓取放置任务上训练 ACT、Diffusion Policy、SmolVLA 和 π0.5(仅动作专家),用 12 至 200 条演示的嵌套子集对比留出验证损失与真机闭环成功率。
Hao Xue 等提出 AuroraWorld,用结构化 4D 世界建模从大规模外视角操作视频合成第一视角观测,以缓解第一视角数据采集的硬件与部署成本。作者指出,现有方法在大幅视角变换、严重遮挡、复杂物体交互和外视角观测稀疏的条件下,难以生成物理一致且与策略相关的第一视角视频。该文为 arXiv 预印本(arXiv:2611.00177),摘要未给出实验任务、数据集与量化指标。
研究提出 Teach-Abstract-Apply(TAA)框架,让操作者用自然语言教协作机器人新工作流,再把教过的流程抽象成可复用技能并迁移到不同场景。作者以协作搭建结构任务为案例,用开源权重模型 Qwen3-Coder 和闭源模型 GPT5.2-Codex 在自对弈与跨模型配置下评估,结果显示技能抽象提升了任务成功率并降低交互成本。初步的人类在环研究提示该流程也能处理人类指令,论文为预印本。
Raphael Memmesheimer 带领的 Team NimbRo 在 RoboCup 2026 的 RoboCup@Home 比赛中获得第三名,并凭论文《Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation》拿下最佳论文奖。
澳大利亚公司 Cortical Labs 本周在首届国际类器官智能会议上展示 HIVE 系统,将 15 台 CL1 生物计算机连接成网络,让人工培养神经元协同完成任务。
Sergey Levine 转发介绍一篇新论文,提出一种可计算的估计器,能从离线数据中估计 empowerment,即智能体在某个状态下拥有多少控制力。作者称该估计可作为无监督目标,用于学习各状态对达成多样结果的相对价值,并给出了若干应用;他同时指出这类估计此前难以做到可计算。论文链接为 https://t.co/O5tz9nQTsB。
Chelsea Finn 转发 Lars Ankile 关于机器人学习数据采集方法 Mulligan 的工作,指出机器人越可靠,DAgger 效率越低,例如 90% 成功率意味着人超过 90% 的时间在被动看机器人执行。其核心思路是失败往往来自相似的初始状态,可把学习集中在这些状态上;在 3 个真实任务和 2,550 次盲评中,同等预算下该方法优于均匀采集。论文链接为 arxiv.org/abs/2610.05882。
Neuralink 介绍其用 5 万小时无标注脑数据预训练自监督编码器,使神经解码器无需重新校准即可连续工作数周。原文称该做法创下 11.32 BPS 的码率纪录,但仅提供摘要,未披露具体模型结构、实验任务与对照基线。