分布流强化学习提升价值估计与策略
分布流强化学习:我们不仅在价值上强制贝尔曼一致性,还在价值生成流过程的每一步上强制这一致性。结果表明效果更好,能产生良好的价值分布,更准确地捕捉价值的分布,从而得到更好的策略。
试运行:收录范围与分类仍在校准,更新可能延迟。 最近内容更新:2026-11-04 17:28(北京时间)
分布流强化学习:我们不仅在价值上强制贝尔曼一致性,还在价值生成流过程的每一步上强制这一致性。结果表明效果更好,能产生良好的价值分布,更准确地捕捉价值的分布,从而得到更好的策略。
瑞芯微与星宸科技三季报显示,第三季度净利润分别为4.73亿元和7.01亿元,合计11.74亿元,同比分别增长90.49%和752.76%。瑞芯微的RK3588、RK3576等芯片承担机器人视觉识别、三维建图与路径规划,并推出机器人数采方案;星宸科技2025年机器人视觉芯片出货超1000万颗,全球份额23%。两家公司利润仍主要来自汽车电子、工业设备、安防等成熟市场,机器人业务收入尚未单独披露。
Maxinsights 预计2026年年化营收达2.5亿美元,目前拥有3500多名现场操作员,在8个国家的5万多个环境中采集数据。公司提供覆盖任务与环境设计、自研采集硬件、数据收集、手部姿态与语言标注、质量校验及模型可用交付的全流程数据管线。其在10月3000万美元种子轮时报告30多家客户,现管线中有50多家潜在客户。
研究在 SO-101 机械臂的抓取放置任务上训练 ACT、Diffusion Policy、SmolVLA 和 π0.5(仅动作专家),用 12 至 200 条演示的嵌套子集对比留出验证损失与真机闭环成功率。
Hao Xue 等提出 AuroraWorld,用结构化 4D 世界建模从大规模外视角操作视频合成第一视角观测,以缓解第一视角数据采集的硬件与部署成本。作者指出,现有方法在大幅视角变换、严重遮挡、复杂物体交互和外视角观测稀疏的条件下,难以生成物理一致且与策略相关的第一视角视频。该文为 arXiv 预印本(arXiv:2611.00177),摘要未给出实验任务、数据集与量化指标。
研究提出 Teach-Abstract-Apply(TAA)框架,让操作者用自然语言教协作机器人新工作流,再把教过的流程抽象成可复用技能并迁移到不同场景。作者以协作搭建结构任务为案例,用开源权重模型 Qwen3-Coder 和闭源模型 GPT5.2-Codex 在自对弈与跨模型配置下评估,结果显示技能抽象提升了任务成功率并降低交互成本。初步的人类在环研究提示该流程也能处理人类指令,论文为预印本。
空间智能公司影溯(InSpatio)10 月 30 日在杭州落地全国首个具身仿真数采中心,预计单月生产 100 万小时仿真训练数据,单条数据综合成本约为传统真机遥操作采集的 1/10。
Raphael Memmesheimer 带领的 Team NimbRo 在 RoboCup 2026 的 RoboCup@Home 比赛中获得第三名,并凭论文《Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation》拿下最佳论文奖。
澳大利亚公司 Cortical Labs 本周在首届国际类器官智能会议上展示 HIVE 系统,将 15 台 CL1 生物计算机连接成网络,让人工培养神经元协同完成任务。
前 OpenAI 科学负责人 Kevin Weil 宣布创办 Warp Sciences,用机器人自动化药物发现中的实验室工作,并已按 8.65 亿美元估值完成 2.15 亿美元融资。
关注价值:前 OpenAI 科学负责人创办的实验室自动化公司披露单轮 2.15 亿美元融资与 8.65 亿美元估值,可观察具身机器人在药物研发场景的商业化路径。
Sergey Levine 转发介绍一篇新论文,提出一种可计算的估计器,能从离线数据中估计 empowerment,即智能体在某个状态下拥有多少控制力。作者称该估计可作为无监督目标,用于学习各状态对达成多样结果的相对价值,并给出了若干应用;他同时指出这类估计此前难以做到可计算。论文链接为 https://t.co/O5tz9nQTsB。
Jim Fan 团队开源 Flora 模型套件,用于解析物理世界并把原始视频转成训练信号,官方称其性能达到 Astra 级别而成本低 125 倍。Flora 已支撑其内部数据引擎,在 500 块 GPU 上每天标注 20 万小时视频,提供带时间戳的高质量描述、用于质量控制和强化学习后训练的密集进度奖励,以及面向真实世界基准的评分量表。
Chelsea Finn 转发 Lars Ankile 关于机器人学习数据采集方法 Mulligan 的工作,指出机器人越可靠,DAgger 效率越低,例如 90% 成功率意味着人超过 90% 的时间在被动看机器人执行。其核心思路是失败往往来自相似的初始状态,可把学习集中在这些状态上;在 3 个真实任务和 2,550 次盲评中,同等预算下该方法优于均匀采集。论文链接为 arxiv.org/abs/2610.05882。
Neuralink 介绍其用 5 万小时无标注脑数据预训练自监督编码器,使神经解码器无需重新校准即可连续工作数周。原文称该做法创下 11.32 BPS 的码率纪录,但仅提供摘要,未披露具体模型结构、实验任务与对照基线。
Figure 将其隐身开发四个月的众包数据应用更名为 Index,并正式上线 Google Play 与 App Store,用于采集 Helix 训练所需的真实世界物理数据。
关注价值:Figure 披露自建真人视频数据管线的五级处理流程与多样性指标,可供判断机器人训练数据的规模化路径。