Motus2 精读
arXiv 2608.30237v2 · cs.RO · 2026-09-10 · GensPI / 清华大学

Motus2

A Self-Evolving General World Model for Dexterous Manipulation

一套共享权重的视频-动作模型,只靠切换哪些 token 加噪、哪些 loss 打开,就能分别当 策略(出动作块)、模拟器(预测这个动作的视觉后果)和 评估器(给后果打进度分)。三者串起来,推理时用来挑动作,训练时用来改策略。

数据侧,主干先在约 13 万小时的人类第一视角视频上预训练(先单目,再双目加手部动作),再用 100 多小时机器人与人机对齐数据做域适配。另有一个轻量触觉专家,在灵巧手上用最新的力信号修正即将执行的动作。

作者 Hongzhe Bi(项目负责人)、Zihao Zhou、Yihang Tang、Jingrui Pang、Shuhe Huang 等 19 人,通讯作者 Jun Zhu(朱军)
机构 生数科技 GensPI、清华大学 · 项目页 motus-robotics.github.io/motus2
θ 一套共享权重 Policy 策略 · 提候选动作块 Simulator 模拟器 · 想象后果 Evaluator 评估器 · 给后果打进度分 T 触觉专家

策略 → 模拟器 → 评估器 → 回到策略(规划时挑分最高的,MBRL 时拿分数更新策略)

读前速览 · 论文 §5 的四个研究问题

四个问题,四个答案

RQ1 · 表 2
人类第一视角预训练对机器人控制有没有用?

同一套目标任务 SFT,只换初始化:从 Wan 视频模型出发 0%,从人类预训练权重出发 51%,再加机器人域中训练 84%(5 个任务宏平均,每任务 20 次)。π0.5 同协议下也是 0%。

RQ2 · 表 3
MBRL 和规划能否超过纯模仿?

2 个任务平均:基线 65.0%,只加规划 67.5%,只加 MBRL 72.5%,两者都加 75.0%。

RQ3 · 表 4
长时程任务里,哪种上下文机制更好?

全局自回归(保留全部历史)胜过混合记忆:仿真 78% 对 52%,真机 57.5% 对 25.0%。

RQ4 · 表 5
触觉专家对接触密集任务有没有帮助?

同一中训练权重出发,去掉触觉 60.0%,加上触觉 72.5%(抽纸杯、撕纸 2 个任务)。

§1 引言 · §2 相关工作

它要解决什么问题

论文的出发点是:通用具身智能体应当在一个统一系统里完成感知、预测、行动、评估和改进,而现有的机器人基础模型大多只做了“行动”这一步。

作者指出了三处不足。

  1. 只靠模仿。今天的机器人基础模型主要在精选的动作示范上训练。对齐本体的示范很贵;模仿本身也不知道一个动作好不好,模型没法从自己的执行结果里继续改进。
  2. 人类数据难以直接迁移。第一视角的人类视频能提供大规模的手-物交互先验(双目还能提供深度线索和更准的 3D 手部姿态),但指尖打滑、抓握成形、松手这类接触事件单看画面很模糊;第一视角下手会挡住物体,有些后果要过一会儿才显现。这是论文后面做机器人域适配、长时程上下文和触觉反馈的动机。
  3. “世界模拟器 + 动作头”缺了评估。world–action model(WAM)能当策略,action-conditioned world model(AC-WM)能当模拟器,前作 Motus 已经用 UniDiffuser 式的联合建模把二者放进同一个模型。但预测出的未来本身不说明它是否推进了任务,所以还需要第三个接口:评估器,也就是价值模型。

作者把核心问题写成一句话:如何在一个共享模型里实现这些因果接口,同时不把未来观测暴露给动作预测;又如何把结果价值转换成策略更新?

解读“在世界模拟器上接一个动作头”不够,原因有两层。其一,没有评估器,模拟器想象出来的后果无法用来挑选或改进动作,失败数据也只能丢掉或被错误地模仿。其二,如果动作 token 能看到同一块的未来视频,部署时每一步都得先把视频生成出来,控制就被视频生成的开销拖住。Motus2 的做法是用“动作优先”的掩码切断这条依赖,让三个接口共享权重但各司其职。

Motus2 总览:左边是视频-动作因果 DiT 主干加触觉专家,输入语言、动作、双目视频和触觉;右边是 Policy、Simulator、Evaluator 组成的 MBRL/规划闭环
Figure 1 · Motus2 overview一张图看完整篇。左半边是架构:文本编码器经交叉注意力进入;动作编码器、VAE 编码器(双目视频)和价值查询(Value Query)的 token 一起进入视频-动作因果 DiT 块,顶上输出未来动作块、未来帧和价值。右侧窄一些的 Tactile Expert 吃触觉编码器的 token 和“部分加噪的子块”,输出未来触觉与动作子块。右半边是闭环:历史观测进 Policy (WAM) 得到 N 个候选动作 A1..N,Simulator (AC-WM) 为每个候选想象画面 Z1..N,Evaluator (VM) 打出 V1..N,再走两条路之一:Opt1 用 RL loss 更新策略,Opt2 取最大值执行(测试时扩展)。
§3.1 Overview · §3.2 General World Modeling

一套权重,三个接口

作者把任务写成部分可观测马尔可夫决策过程:观测 ot = (图像, 本体感受, 可选触觉),因为手经常挡住物体和接触点,当前观测不够当马尔可夫状态,所以策略条件在历史上。实际中,核心模型用上下文 ct 表示历史:语言、当前本体感受,以及由工作记忆机制(见记忆一节)提供的编码后视觉历史。

给定上下文,设 At 为可执行的动作块,Zt 为它对应的未来观测 latent,Yt 为离散化的任务进度值。从机器人域中训练开始,三者的联合密度按“动作优先”的顺序分解:

Eq. 2pθ(At, Zt, Yt | ct) = πθ(At | ct)policy (WAM) · pwmθ(Zt | ct, At)simulator (AC-WM) · pvmθ(Yt | ct, At, Zt)evaluator (VM)

这三个因子是同一个共享参数模型的三种调用方式,并不是三个分别训练的网络。给分支排序用的分数是评估器的条件期望 Vθ(ct, At, Zt) = 𝔼[Yt](Eq. 3)。

token 怎么排:chunk 自回归

从中训练开始,每个训练窗口排成“干净的历史观测 + 若干个动作优先的块”:x = (Zctx; B1; …; BM),每块 Bj = (qj; Aj; Zj; Uj),其中 qj 是可选的本体感受,Uj 是只读的价值查询 token。

下面这个示意把论文 Eq. 7 的三种训练模式和 Figure 2 的掩码放在一起。点上面的按钮切换模式,看哪些 token 是干净条件、哪些被加噪并计 loss,以及注意力怎么连。

三种调用模式(外加预训练的联合模式)

依据 Eq. 6–7、Figure 2、附录 E.2
块 j 里的 token
C<j
干净的历史观测
条件
Aj
动作块
Zj
未来视频 latent
Uj
价值查询
干净条件 加噪,由模型去噪 在场,但 loss 关闭 不存在
块内注意力(行=query,列=key)

训练目标把三件事写进一个式子。对干净目标 x ∈ {Zj, Aj} 和高斯噪声 ε,xσ = (1 − σ)x + σε,速度目标 v* = ε − x。共享主干同时预测视频速度、动作速度和一个价值的类别分布:

Eq. 6ℒ = wz‖vzθ − vz* ‖² + λawa‖vaθ − va* ‖² + λvwv CE(pvmθ, Yt)

三个 loss 开关 (wz, wa, wv) 和两路独立的噪声水平 (σz, σa) 一起决定当前是哪种模式:

模式(σz, σa)(wz, wa, wv)监督的条件分布中训练样本占比
policy(>0, >0)(1, 1, 0)pθ(At, Zt | ct)其余 ≈ 0.85
simulation(>0, 0)(1, 0, 0)pθ(Zt | ct, At)0.10
evaluation(0, 0)(0, 0, 1)pθ(Yt | ct, At, Zt)0.05

占比来自附录 E.2:simulation 和 evaluation 模式各占训练样本的 0.10 和 0.05,其余为 policy。价值目标离散成 201 个 bin,loss 权重 0.05。

按轨迹类型分配监督

掩码保证了依赖方向正确,但它不能判断一条录下来的动作值不值得模仿。所以每条轨迹只路由到它能正确监督的因子:

部署时只查询动作

训练好以后,普通控制只查询动作因子 πθ(At | ct),未来视频和价值只在规划或策略优化时才生成。因为动作 token 看不到本块的未来视频,这样做不会改变动作的分布。论文强调这保留了视频-动作联合训练的好处,又不必在每个控制步都做一次未来预测(引用 Fast-WAM、GigaWorld-Policy)。默认部署时,动作块用 5 步 flow-matching 去噪采样(附录 E.3)。

联合预训练的块掩码
动作优先的块掩码
Figure 2 · Stage-specific chunk masks左:预训练的联合掩码;右:中训练和后训练的动作优先掩码。行是 query,列是 key,深色格子表示能看到。看每块的 A、Z 两行:左图里 A1 能看到 Z1(块内双向),且 U 行全空(价值查询在预训练阶段还不存在);右图里 A1 只看到 C0 和自己,Z1 能看到 A1,U1 能看到 C0、A1、Z1。再往下看块间:块 2、块 3 的 token 只看前面的干净上下文 C,看不到前面块的加噪 A、Z,也看不到后面的块。两图中浅色和深色的区别是不同块的着色。
§3.2 Data-scaling curriculum · §4 · 附录 B–E

数据课程:从人类视频到目标机器人

训练分四段。前两段只用人类第一视角数据,后两段才进入机器人域。动作优先掩码和监督路由也是从机器人域适配开始才启用的。

  1. 预训练 · Stage 1
    只训视频通路
    • 单目第一视角:先低分辨率 500K 步,再高分辨率 340K 步
    • 双向条件 flow matching,给 1–2 帧干净 latent 作上下文
    • 没有动作和价值 token
  2. 预训练 · Stage 2
    视频-动作联合
    • 多分辨率双目第一视角视频 + 人手动作,450K 步
    • 块内视频与动作双向可见(联合掩码),价值 loss 关闭
    • 窗口 W = 12 个 latent 帧,每块 κ = 2 帧,可见历史 1–5 块
  3. 中训练 Mid-training
    机器人域适配
    • 100 多小时:机器人轨迹 + 几十小时人机对齐数据
    • 换成动作优先掩码,三种模式混合训练
    • 640×384 双目,W = 8,κ = 2,历史 1–3 块
  4. 后训练 Post-training
    目标机器人 SFT 与三个扩展
    • 默认:滑动窗口 SFT(同中训练的窗口设置)
    • 扩展:价值引导 MBRL、长历史上下文、触觉专家

优化器设置(附录 E):Stage 2 与中训练都用 AdamW,学习率 2×10−5,weight decay 0.01,梯度裁剪 0.5,bfloat16;Stage 2 常数学习率、1K 步 warm-up,中训练线性调度、200 步 warm-up。

约 13 万小时的第一视角语料

表 1 列的是过滤、切分和标注之前的原始录制时长(约数)。条形长度按线性比例画。

数据集相机原始时长(小时)分辨率 (W×H)来源

条形颜色:浅灰=单目,深灰=双目。来源:论文 Table 1。

解读按表中数字,单目合计 112,500 小时,其中 Egocentric-100K 一个源就占 100,500 小时(约占总量 77%,分辨率只有 480×360);双目合计 17,400 小时。也就是说,“13 万小时”的大头是低分辨率单目视频,只进入 Stage 1 的视频通路;带手部动作、真正参与视频-动作联合训练的双目数据是一万多小时量级。

论文还说明:同一个源可以进入多个阶段,例如 LightWheel 的单目录像进 Stage 1,双目录像进 Stage 2。此外,团队用 Wuji Human Gloves 采了几十小时人机对齐数据,作为中训练的补充。

第一视角数据金字塔
标注子集的语义分布
Figure 4 · Egocentric data pyramid and corpus semantics左:数据金字塔。从底到顶:网络视频、单目第一视角视频、双目第一视角数据、人机对齐数据、(带触觉的)机器人数据。越往上越少、越接近目标本体。注意“触觉”只出现在塔尖。右:标注子集的语义多样性(不含 Egocentric-100K):(a) 99 个细粒度动作动词(grasp、pick、lift、press 最多),(b) 物体相关词,(c) 12 个互斥的高层任务类别,(d) 前 20 个场景关键词。

人类数据怎么变成“动作”

平台

附录 A 列出三套双臂配置:天机 Marvin 双臂 + 两只 20 自由度 Wuji 手(另装 ZED Mini、ZED 2 相机和 Wuji Robot Glove 触觉);天机 Gento Luna 双臂 + 20 自由度 Wuji Hand 2;Gento Luna + 22 自由度 Sharpa Wave。摘要称之为“完全仿生”的平台:双目视觉、双臂、双灵巧手和触觉。遥操作上,Marvin–Wuji 用 MANUS 手套(先转 21 点 MediaPipe 表示再重定向)加三个 VIVE Ultimate Tracker(躯干和双腕);两套 Gento Luna 用 PICO 手柄位姿给双臂目标,手套数据分别重定向到 Wuji 或 Sharpa 手。人机对齐数据不驱动机器人:操作者戴一双 Wuji Human Gloves,双腕各一个 HTC VIVE Tracker,桌上固定第三个 Tracker 作参考系,头戴 ZED 2 录左右目 RGB。

Wuji 手 + 天机 Marvin 双臂
(a) Wuji 手 + 天机 Marvin 双臂
Wuji Hand 2 + 天机 Gento Luna
(b) Wuji Hand 2 + 天机 Gento Luna
Sharpa Wave + 天机 Gento Luna
(c) Sharpa Wave + 天机 Gento Luna
人机对齐数据采集
(d) 人机对齐数据采集
Figure 6 · Robot platforms and human–robot alignment collection(a) 上能看到头部双目相机和戴手套的灵巧手;(d) 是人戴 Wuji Human Gloves、腕部 Tracker 和头戴双目相机采集对齐数据,不驱动机器人。
§3.3 Value-Guided Closed-Loop Self-Evolution · 附录 E.3

闭环:规划与 MBRL

动作优先的分解让“提候选 → 想后果 → 打分”可以按顺序执行。要让模型自我改进,还需要把评估器的反馈送回策略。

评估器学的是“相对进度”

沿用 VLAC 的相对进度定义。对成功轨迹中从时刻 t 开始、长度为 Δt 的片段,目标是

Eq. 8 / 9rt = + Δt / (T − t) (成功轨迹的片段)  rt = − Δt / (T − t) (失败遥操作、任务无关交互的片段)

其中 T 是轨迹总长。正目标落在 [0, 1],衡量这一段相对“剩余任务长度”推进了多少。只有正样本,评估器学不会怎样给偏离任务的行为打分,所以用两类负样本补上:失败的遥操作轨迹(抓不准、意外接触、偏离指令流程)和与任务无关的交互。正负值再离散成 Eq. 6 里的类别目标 Yt。

两种用法

MBRL 的核心是把分数变成 [0, 1] 的“最优性权重”,再用它在两个隐式速度场之间插值:

Eq. 11r̂i = 0.5 + 0.5 · clip( (Vi − mean(V)) / max(std(V), ε), −1, 1 )
Eq. 12 / 13v+i = (1 − β)vref,i + βvθ,i, v−i = (1 + β)vref,i − βvθ,i, ℒNFT = 𝔼i[ r̂i‖v+i − vtari‖² + (1 − r̂i)‖v−i − vtari‖² ]

mean 和 std 只在策略生成的候选上算(总体标准差),ε 防止方差接近零时数值不稳。每组候选另外放入一条真值“动作-未来”对,固定 r̂ = 1 作为正锚点,不参与均值方差计算。vref 来自 EMA 参考策略,更新时固定。直观地说:高分候选让在线策略的速度场朝它靠拢,低分候选让策略朝反方向走,r̂ ≈ 0.5 的候选两边抵消,策略留在参考附近。1/β 相当于强化引导的强度。预测出的未来 Zi 只通过分数 Vi 影响更新,不会作为输入暴露给动作速度预测器。

下面用示意数值走一遍两种用法。候选分数是随机生成的,不是论文数据。

闭环分步演示

分数为示意数值 · 公式与超参来自 Eq. 11 与附录 E.3
候选想象的 Z · 分数 V(−1 到 1)V权重 r̂(0 到 1)r̂

MBRL 的工程实现

候选生成、价值打分、参考目标构造和策略优化四个阶段吞吐不匹配,串行执行会让昂贵组件空转。作者参考 AcceRL 做了基于 Ray 的宏观异步流水线,各阶段用有界 FIFO 缓冲解耦。附录 E.3 给出的设置:

MBRL 训练闭环
测试时规划
Figure 3 · Self-evolution and planning modules左:MBRL 训练闭环;右:测试时规划。两张图结构几乎一样,下面都是同一个“General World Model”分出三个接口。区别只在最右边:左图的价值 V1..N 进 RL loss,虚线回到 Policy 做策略优化;右图对价值取 argmax 直接执行。
§3.4 Working Memory · 附录 E.3

工作记忆:能看到多久以前

闭环只能用 ct 里保留下来的证据。有界上下文会丢掉任务早期看到、后面又需要的信息,手也可能在后面的画面里挡住物体。作者把“可访问的历史”当成一个显式的设计维度,做了三种方案:

两种长历史变体都在完整 episode 上训练,长度差异大,所以作者把多条 episode 打包进一次注意力调用,用块对角因果掩码隔开,各自生成 RoPE,padding 不计 loss。这只改变计算布局,与分开处理等价。拖动下面的滑块,看随着任务推进,三种方案各自还能“看见”哪些帧。

三种上下文方案,谁还记得第 3 帧

L = 每个 latent 帧的视觉 token 数 · 橙框帧是示意的“关键证据”(比如方块藏在哪个杯子下)
全分辨率可见 压成记忆 token 已观测但看不到 尚未发生

示意说明:滑动窗口按“最近 2 块 × κ = 2 = 4 个 latent 帧”画;混合记忆按“前 2 帧锚点 + 最近 4 帧 + 中间每帧 8 个记忆 token”画。token 计数只算视觉历史。

§3.5 Tactile Expert · 附录 E.3 · §5.6

触觉专家:在去噪的最后一段接入力信号

工作记忆扩展了视觉历史,但接触状态单靠视觉仍然可能模糊。作者想把高频的触觉证据接进来,又不想每来一段触觉就把整个主干重跑一遍。办法是挂一个轻量专家,复用主干算好的中间结果。

结构:一条窄而深的旁路

Eq. 14 / 15Ãt,k = Aσct,k − σc vaφ,t,k  ℒref = 𝔼‖ vaφ,t,k − (Aσct,k − At,k) / σc ‖²

也就是说,专家读入第 k 个子块的中间动作、它之前的触觉窗口 τpret,k 和缓存,预测最终动作速度,一步走完剩下的 σc。

一个动作块(48 个动作,1.6 秒)里发生了什么

依据 §3.5 与附录 E.3 · 拖动或播放

还要预测未来的力,但只在训练时

修正动作只用到了“之前”的触觉。为了让专家也学会接触在这个动作下会怎样演化,作者在每个子块之后预测真实的力窗口 fpostt,k:前一个窗口保持干净作条件,后一个窗口在归一化的力信号空间里加噪,用同样的 flow matching 目标去噪(Eq. 16)。

两种灵巧手的触觉输入

手输入给专家的信号是否被预测用于哪个任务
Sharpa Wave
22 自由度
60 维双手力/力矩向量;外加 10 个指腹的形变图像,时间卷积编码器把连续 6 帧形变图压成 20 个条件 token力:预测(仅训练)
形变图:只作条件,不预测
Pull Out Paper Cup
Wuji Hand 2
20 自由度
1086 维双手向量:每只手 176 个三轴传感点共 1056 个逐点力值,加 30 个逐指三轴合力值力:预测(仅训练)Tear Paper

两种手共用同一套专家结构和时间调度。力信号采样 90 Hz,Sharpa Wave 每个窗口额外提供 6 帧形变图;力输入按训练数据统计量归一化,无效通道置零。

实验结果(表 5)

w/o Tactile(去掉触觉专家)w/ Tactile(完整的修正 + 预测目标)

成功率,每格 20 次试验。两个变体从同一个中训练权重出发,用同样的目标任务后训练数据。Table 5。

原表数字
VariantPull Out Paper CupTear PaperAvg. SR
w/o Tactile65%55%60.0%
w/ Tactile75%70%72.5%
Pull Out Paper Cup 任务的 8 帧
(h) Pull Out Paper Cup · Sharpa Wave
Tear Paper 任务的 8 帧
(i) Tear Paper · Wuji Hand 2
Figure 8 (h)(i) · 触觉任务Pull Out Paper Cup:稳住一摞套叠的纸杯,抽出一只,不能掉也不能捏扁。Tear Paper:双手配合抓住一张纸并从纸卷上撕下。原图是一行 8 帧,这里排成 2 行 × 4 帧,从左上到右下是时间顺序。

解读这里的触觉设计本质上是“双速率”:主干以块为单位(1.6 秒)做一次重计算,专家以 0.2 秒为单位用新的力信号做一次轻量修正,从而在不重跑 5B 主干的前提下拿到更高的反应频率。代价是触觉只作用在动作生成的最后一段:主干、模拟器和评估器都看不到触觉,规划和 MBRL 也就没法对接触后果做推理。这一点在七篇对照里与 ME-Dex 1.0 对比会更清楚。

§5.1 Experiment Setup · 附录 G

实验怎么做的

任务分组

用途任务考察什么每任务试验数
主任务集(表 2)Place Ball、Put Phone空间定位与放置20(真机)
Attach Eraser、Screw Bulb精确对齐与持续接触20(真机)
Multi-Finger多指协调抓取不同形状物体20(真机)
MBRL 与规划(表 3)Put Phone、Multi-Finger(复用主任务)隔离策略优化和测试时规划的效果20(真机)
工作记忆(表 4)Find Square、Press Button关键证据可能被遮挡或早于短窗口25(仿真)/ 20(真机)
触觉(表 5)Pull Out Paper Cup、Tear Paper接触敏感的抓握调整与双手持续交互20(真机)

评测协议:同一组对比内所有方法用相同的初始配置;真机每任务 20 个配置,长时程上下文研究的仿真分支每任务 25 个;每个配置跑一次闭环。只有所有任务谓词都在时限内满足才算成功,部分完成算失败。平均值是任务间的宏平均。仿真和真机结果分开报告。

受控对比:与 π0.5 比时,目标任务 SFT 数据、观测接口和评测协议都一致。WAN-SFT、Pretrain-SFT 和 Motus2 (Midtrain-SFT) 用同一套 SFT 流程,只有初始化不同:分别是 Wan 视频模型、两阶段第一视角预训练权重、机器人域中训练权重。

解读真机每格 20 次,一次成功就是 5 个百分点;两任务平均的 2.5 个百分点等于其中一个任务多成功一次。读后面的小差距时请记住这个粒度。论文没有报告置信区间或多随机种子。

Place Ball
(a) Place Ball
Put Phone
(b) Put Phone
Attach Eraser
(c) Attach Eraser
Screw Bulb
(d) Screw Bulb
Multi-Finger
(e) Multi-Finger
Figure 8 (a)–(e) · 主任务集Place Ball(左手拿球放到倒扣的杯子上)、Put Phone(右手从紫色块上拿起手机放进白色手机支架)、Attach Eraser(左手拿板擦贴到白板上)、Screw Bulb(右手把灯泡拧进灯座直到亮,然后松手)、Multi-Finger(从一组形状各异的物体中抓一个放进橙色篮子)。每张 8 帧,原图一行,这里排成 2×4,按时间从左上到右下。
§5.2–5.6

结果

主结果:预训练和中训练各贡献了多少(表 2)

π0.5 和 WAN-SFT 在五个任务上全部是 0%,下图只画 Pretrain-SFT 和 Motus2,两者的差别只在是否做了机器人域中训练。

Pretrain-SFT(人类第一视角预训练 → SFT)Motus2 (Midtrain-SFT)(再加机器人域中训练 → SFT)

成功率,每格 20 次。π0.5 与 WAN-SFT 各任务均为 0%,未画出。Table 2。

原表数字
MethodPlace BallMulti-FingerAttach EraserScrew BulbPut PhoneAvg. SR
π0.50%0%0%0%0%0%
WAN-SFT0%0%0%0%0%0%
Pretrain-SFT60%35%90%55%15%51%
Motus2 (Midtrain-SFT)100%70%100%90%60%84%

论文的结论:第一视角预训练把宏平均从 WAN-SFT 的 0% 提到 51%,机器人域中训练再提到 84%,比 Pretrain-SFT 高 33 个百分点。在同样的目标任务 SFT 协议下,这支持了第一视角预训练和中训练各自的贡献。

解读提升最大的是 Put Phone(15% → 60%,+45)和 Place Ball(60% → 100%,+40);Attach Eraser 在 Pretrain-SFT 时已经是 90%。π0.5 在所有任务上都是 0%,这一点需要谨慎看待,放在疑点里讨论。

双目人类数据的缩放规律(Figure 5)

用嵌套的 2k、4k、10k、20k 小时双目子集(保持来源和分辨率比例)分别预训练,在同一个轨迹不相交的双目留出集上测人手动作预测误差:每个样本生成多个动作块,取均值与归一化后的真值腕部和手部动作比 MSE。每个数据量取所有 epoch 里最好的验证误差,拟合得到

Eq. 18ℒ*val(D) ≈ 0.101 − 0.005 ln D
双目第一视角人类数据的缩放规律
Figure 5 · Scaling laws of stereo egocentric human data左:四个数据量下验证误差随 epoch 的变化,数据越少越早进入平台。右:最优验证误差对原始小时数(对数横轴)近似一条直线。按拟合式,数据每增加 10 倍,最优误差下降约 0.005 × ln 10 ≈ 0.0115。注意这里的指标是人手动作预测误差,不是机器人成功率;横轴是过滤和切分之前的原始小时数,实际训练数据更少。

MBRL 与规划:2×2 因子实验(表 3)

从同一个目标机器人权重出发,分别打开 DiffusionNFT 策略优化和 Best-of-N 规划。MBRL 改权重,规划只改推理。

不规划
+ 规划
无 MBRL
65.0%
Put Phone 60 · Multi-Finger 70
67.5%
Put Phone 65 · Multi-Finger 70
+ MBRL
72.5%
Put Phone 65 · Multi-Finger 80
75.0%
Put Phone 70 · Multi-Finger 80

格子颜色越深表示平均成功率越高。每个任务 20 次。Table 3。

论文的解读:规划带来 +2.5(65.0 → 67.5),MBRL 带来 +7.5(65.0 → 72.5),两者叠加到 75.0。MBRL 之后规划仍然有 +2.5,开着规划时 MBRL 仍然有 +7.5,说明两者在所评测的任务上互补。

解读换算成次数:规划的 +2.5 是 Put Phone 多成功 1 次(Multi-Finger 不变);MBRL 的 +7.5 是 Put Phone 多 1 次、Multi-Finger 多 2 次。方向一致,但样本量很小。

评估器的打分长什么样(附录 F)

附录 F 在四个任务上各画了一条成功、一条失败轨迹的预测进度。读数用 Eq. 7 的评估模式:每块的预测只条件在上下文、已执行的动作和这一块实际观测到的视频上,从不条件在最终结果上;按 latent 帧逐点读出,值域 [−1, 1],训练目的是给 rollout 排序,不是校准过的成功概率。

预测任务进度:Cut Reeds 和 Make Tea
预测任务进度:Multi-Finger 和 Put Phone
Figure 7a / 7b · Predicted task progress蓝色是成功,橙色是失败,所有面板纵轴相同。成功(a、c、e、g)都结束在 0.63–0.65,但形状不同:Cut Reeds 前 15 秒手在接近和对准、还没剪断芦苇时几乎为 0,之后随两次剪断分两级上升;其余三个任务平滑上升。失败曲线的形状更有信息量:Cut Reeds (b) 先跟成功一样升到 0.27,第一剪没剪断反而把芦苇提起来,两秒内掉到 −0.39,架子被碰歪后到 −0.51;Put Phone (h) 在手机放进盒子后峰值到 0.60,反复盖不上盖子后才掉到 −0.26;Make Tea (d) 在约 35 秒倒完水时到 0.14,之后 80 秒里因为拿不起盖子一路降到 −0.47;Multi-Finger (f) 在约 50 秒到 0.18,最后所有物体被放进同一个容器,降到 −0.53。

注意正文 §5.4 说附录 F 展示的是“Screw Bulb 的一条成功和三条失败轨迹,成功轨迹从 0.34 升到约 0.81”,但附录 F 实际是上面四个任务各一成一败、成功终点 0.63–0.65 的图;其中 Cut Reeds 和 Make Tea 不在 Figure 8 列出的 9 个评测任务里。LaTeX 源码里正文和附录就是这样写的,应是版本更新时没有同步。

长时程上下文(表 4)

在 Find Square 和 Press Button 两个记忆探针上,比较全局自回归和混合工作记忆,训练和配对评测设置一致,仿真与真机都测。

Hybrid memory 混合记忆Global autoregression 全局自回归

仿真每格 25 次,真机每格 20 次。两种变体都只训练了 10K 步(附录 E.3)。Table 4。

原表数字
SettingContext mechanismFind SquarePress ButtonAvg. SR
SimulationHybrid memory64%40%52%
Global autoregression84%72%78%
Real robotHybrid memory30%20%25.0%
Global autoregression65%50%57.5%
Find Square
(f) Find Square
Press Button
(g) Press Button
Figure 8 (f)(g) · 记忆任务Find Square:有人把橙色方块藏进三只杯子之一并打乱,机器人要靠之前的观测掀开正确的杯子。Press Button:机器人先看一个视觉提示,在动作过程中记住它,再按提示的顺序按实体按钮。

解读表 4 只比了两种长历史扩展,没有放默认的滑动窗口,所以从这张表看不出“长历史”本身比滑动窗口好多少。全局自回归的代价随 episode 长度线性增长,论文也没有报告它的推理延迟。

关键 insight · 常见误解 · FAQ

读懂它

值得带走的几个设计

  1. 三个接口的区别只在“哪些 token 加噪、哪些 loss 打开”。没有三个网络,也没有三个独立的头:同一个 DiT,同一张动作优先掩码,靠 (σz, σa) 和 (wz, wa, wv) 切换。评估器唯一多出来的是价值查询 token 和 201 bin 的类别读出。
  2. 动作优先的掩码同时解决了两件事。动作不看本块未来视频,所以部署时可以只去噪动作;视频 token 能看动作,所以同一个模型天然是动作条件的模拟器。预训练阶段则保持块内双向,先把视频-动作的联合先验学好,到机器人域才切换。
  3. 失败数据有用,但不能拿来模仿。成功轨迹训策略,失败、次优和无关交互只训模拟器和评估器。这让同一批数据按“能正确监督什么”被分别利用。
  4. 规划改“选哪个”,MBRL 改“提什么”。两者用同样的三接口,一个在推理时从当前分布里挑,一个在训练时移动分布,实验里二者可以叠加。
  5. 触觉走旁路、按双速率运行。主干每块跑一次,专家每 0.2 秒用新触觉修正一次,不必重跑主干。

容易误解的地方

FAQ

评估器的分数靠得住吗?

论文给的证据有三类。定性上,附录 F 的八条轨迹里,成功轨迹都升到 0.63–0.65,失败轨迹在进度丢失后下降。定量上是间接的:用这个分数做 Best-of-N 规划带来 +2.5,做 MBRL 带来 +7.5(表 3)。论文没有报告价值模型本身的排序准确率或与真实结果的相关性。

解读还有一个值得注意的细节:Put Phone 的失败轨迹 (h) 中途峰值 0.60,与成功轨迹的终点 0.65 很接近,它是在后面反复盖不上盖子时才掉下去的。而 MBRL 的想象时域只有 1 个块,打分看的是一小段后果,这种“看上去快成功了”的状态能否与真正会成功的状态区分开,论文没有直接回答。

自进化到底进化了什么?

按 §3.3 和附录 E.3,被更新的只有策略的动作相关参数;共享的视频主干(也就是模拟器的大部分能力)和评估器都冻结。所以进化的是“提议分布”:高分候选的方向被加强,低分候选的方向被削弱。模拟器和评估器本身在这个循环里不变。

为什么动作 token 不能看本块的未来视频?

论文的核心问题里就写了“不把未来观测暴露给动作预测”。如果动作依赖本块未来视频,部署时就必须先把视频生成出来才能出动作;而且作为 π(A|c) 这一因子的策略,本来就不应条件在尚未发生的观测上。作者的做法是预训练保留块内双向(学联合先验),到机器人域中训练时切成动作优先。

为什么触觉不直接放进主干?

论文给的理由是:要接入高频触觉证据,又不想为每段触觉重跑整个主干。于是主干每块只到 σc = 0.2,剩下的一步交给读缓存的专家。

解读另一个现实原因写在局限里:可穿戴触觉数据很难跨本体扩展,人类第一视角数据基本不带触觉。把触觉限制在后训练的旁路里,主干就能继续吃 13 万小时的无触觉数据。

人类数据和机器人动作空间怎么对上?

预训练阶段,人手 21 个 MediaPipe 关键点通过 IK 重定向到第一代 Wuji 手的 20 维关节空间;统一的 134 维表示记录双手腕部位姿和指关键点。中训练加入用 Wuji Human Gloves 采集的人机对齐数据,并用机器人轨迹做适配;后训练时 Wuji Hand 2 和 Sharpa Wave 用各自的原生关节角。表 2 中 Pretrain-SFT 与 Midtrain-SFT 相差 33 个百分点,说明这一步域适配很关键。

§7 Limitations · 我们的阅读

局限与疑点

论文自述局限与未来工作

  • 可穿戴触觉监督难以跨本体扩展,这是作者认为的首要局限。触觉手套无论戴在人手还是机器手上,都会随手的构型变形;即使没有外部接触,材料拉伸和内部织物接触也会产生噪声,难以与有意义的物理接触区分。
  • 灵巧手与人手在几何上不同构:小指常被拉长,有些手明显更粗更大,一种手套版型没法同时适配人手和机器手。用人类手套采的触觉数据不能直接迁移到戴专用手套的灵巧手上,这限制了跨本体触觉学习的规模和可靠性。
  • 未来工作:数据侧,期待可穿戴触觉材料让全手触觉的多模态第一视角采集可扩展,更拟人的灵巧手缩小形态差距;模型侧,期待更强的视频基础模型和统一多模态模型带来更长时程、更可信的多模态模拟,把视觉、语言、动作、触觉和价值统一进同一个生成与决策过程。

解读我们读出来的疑点

  1. π0.5 全 0% 的基线强度存疑。五个任务全部 0%,WAN-SFT 也全部 0%。论文说 SFT 数据与接口一致,但没有给出每个任务的 SFT 数据量、π0.5 如何适配 20/22 自由度灵巧手的动作空间、训练了多少步。全零更像是适配或数据量问题,而不是能力差距的刻画。
  2. 评测规模小。每格 20 次,1 次 = 5 个百分点。MBRL/规划的增益合计只涉及几次成功,没有置信区间或多种子。
  3. “自进化”在实验里只做了一轮。MBRL 的前缀来自离线数据,想象时域 1 块,模拟器和评估器冻结。标题里的闭环自进化,实验上验证的是“单轮、离线前缀、想象打分”的策略改进。
  4. 正文与附录不一致。§5.4 描述的 Screw Bulb(0.34 → 0.81)与附录 F 实际展示的四任务图对不上,且 Cut Reeds、Make Tea 不在评测任务列表中。
  5. 数据量对不上。表 1 双目数据合计 17,400 小时(7,000 + 6,000 + 1,200 + 2,000 + 1,200),而缩放实验的最大嵌套子集标为 20k 小时原始双目数据,论文没有解释差额。
  6. 记忆实验缺少滑动窗口基线,也没有延迟数据。两种长历史变体都只训练 10K 步,混合记忆可能欠训练;仿真平台也没有写明。
  7. 触觉实验偏薄。两个任务、每个只在一种手上测、各 20 次;没有拆开“修正”与“预测辅助损失”各自的贡献,也没有和“把触觉直接拼进主干”之类的方案比较。
  8. 算力与延迟没有报告。预训练共 129 万步(500K + 340K + 450K),5B 级主干;规划需要对 N 个候选各生成一次未来视频,论文没有给出规划模式下的控制频率,也没有给出 MBRL 的 GPU 规模和时长。
力与触觉专题 · 七篇

放到七篇里看

专题里的七篇都在回答“力和触觉怎么进入机器人基础模型”。ForceVLA、Tactile-VLA、T-Rex、N₀-VTLA 走 VLA 路线,把力或触觉接进视觉-语言-动作模型;Motus2、ME-Dex 1.0、N₀-TWAM 走世界模型路线,模型要预测未来。Motus2 的主要贡献其实在三接口的通用世界模型和第一视角数据扩展,触觉只占一节和一张表;但它给出了一种与 ME-Dex 1.0 很不一样的触觉接入方式。

ForceVLATactile-VLAT-RexN₀-VTLAN₀-TWAMME-Dex 1.0Motus2
来源arXiv 2505.22159 · 复旦、上交arXiv 2507.09160 · 清华(高阳组)arXiv 2606.17055 · UC Berkeley、NVIDIA、Stanford 等arXiv 2607.23782 · NeoteAI、复旦 TEAIarXiv 2607.23783 · NeoteAI、复旦 TEAIarXiv 2609.21449 · 理想汽车基础模型团队arXiv 2608.30237 · 生数、清华(朱军组)
路线VLA,基于 π0VLAVLA:Qwen3-VL-2B 三专家 MoT(latent / 动作 / 触觉)VLA:π0.5 + 潜在触觉预测器世界动作模型:视频、触觉、动作三专家非对称 MoT,从 LingBot-VA 改造World Action Tactile Model:MoT 三专家(Video / Tactile / Action),全部 flow matching通用世界模型:视频-动作因果 DiT,一套权重三接口
力/触觉信号6 轴力/力矩触觉Sharpa Wave 灵巧手 10 指:6 轴力 16 帧历史 + 当前力 + 形变深度图自研视觉式触觉,差分图经冻结 DINOv2 编码视觉式触觉;与视频共用 Wan VAE,另用估计的三轴力图多源异构触觉(不同本体、不同传感布局)灵巧手力信号:Wuji Hand 2 为 1086 维;Sharpa Wave 为 60 维力/力矩 + 指腹形变图
接入方式force-aware MoE(FVLMoE)在动作解码阶段融合 VL 嵌入与实时力反馈深度融合进 VLA,配混合位置-力控制器和基于触觉反馈的推理模块触觉专家读主干 KV,只做去噪最后一段(τ 0.4 → 0),块内 4 次,每次输出整块预测器输出 z,拼在动作 token 前;不进 VLM 前缀触觉专家每层共享注意力;当前触觉经零初始化交叉注意力进动作流Tactile Expert 与视频、动作专家在中间层共享注意力,联合去噪;Canonical Hand Model + Unified Tactile Autoencoder 统一空间与隐空间旁路触觉专家读主干 detached KV,只负责每块去噪的最后一段(σ 0.2 → 0)
触觉的角色条件条件条件(块内高频)被预测的潜变量(只在训练 Stage 1 施加预测目标)既是要生成的未来观测,也是动作的条件被预测的未来观测,与视频同等前一窗口作条件修正动作;后一窗口的预测只是训练辅助,部署不用;主干不受触觉梯度
数据自采 ForceVLA-Data:视觉、本体、力/力矩同步,5 个接触密集任务少量示范激活 VLM 先验人类视频预训练 + 100 小时带触觉遥操作中训练 + 每任务约 100 条NeoData 多平台视触觉数据NeoData 超 3 万小时,6 种本体Agentic Tactile Data Engine 在 RoboTwin、DexJoCo 轨迹回放中补录力传感器数据真机后训练数据;人类第一视角预训练数据不含触觉
主要证据平均成功率比 π0 基线高 23.2%,插头插入等任务最高 80%零样本泛化到触觉相关的指令跟随、常识和推理6 个任务上去掉触觉 65 → 42;同步版本 60没有去掉触觉的闭环消融;真机 9 任务均值 47.2% vs π0.5 29.4%去掉观测通路 NeoSim 49.4 → 29.6,去掉预测通路 → 41.1RoboTwin、DexJoCo、ManiFeel 仿真 + 真机(夹爪与灵巧手)2 个任务 × 20 次:60.0% → 72.5%

ForceVLA、Tactile-VLA、ME-Dex 1.0 三列取自摘要级概述;T-Rex、N₀-VTLA、N₀-TWAM 三列来自对应的精读页。细节以各自的精读页为准。

触觉在模型里处于什么位置 解读

力/触觉作为条件
力/触觉也被预测
VLA 路线
ForceVLA · Tactile-VLA · T-Rex力或触觉作为当前观测输入影响动作生成;T-Rex 把它放在去噪最后一段、块内多次读取
N₀-VTLA预测接下来一个动作块内的触觉变化潜变量 z,动作专家读 z 而不读当前触觉
世界模型路线
Motus2以条件为主:旁路专家用之前的触觉修正动作;力预测只是训练辅助,不进主干
ME-Dex 1.0 · N₀-TWAM触觉和视频一样是要预测的未来观测,在联合去噪中与动作共享注意力;N₀-TWAM 另把当前触觉作为条件直接注入动作流

和 ME-Dex 1.0 的关键区别

解读两篇都是世界模型路线,但对触觉的定位几乎相反。

换句话说,如果问“触觉是条件还是被预测的观测”:ME-Dex 1.0 明确选了后者;Motus2 两者都做了一点,但真正进入部署链路的只有条件这一面,它的“世界模型”部分仍然是视觉的。两篇放在一起读,正好对应了触觉进入世界模型的两种代价取舍:要表示层面的统一,就得解决数据;要数据可扩展,触觉就只能晚一点、浅一点地接入。

和 T-Rex:同一个切分去噪机制

Motus2 在附录 E.3 写明触觉专家的时间调度“参照 T-Rex”。两篇的做法对照如下:

T-RexMotus2
主干去噪到τsplit = 0.4(10 步里的前 6 步)σc = 0.2
触觉专家怎么收尾4 个 Euler 步,每次输出整个 16 步动作块一步走完剩下的 σc,每次只完成当前 6 步子块
每块调用次数4 次(块内偏移 0 / 4 / 8 / 12)8 次(48 步切 8 个子块,每 0.2 s)
触觉专家规模0.62B,FFN 中间宽度 153630 层,宽 128
额外目标无;主干另有未来视觉潜变量预测训练时预测子块之后的力窗口
手Sharpa Wave(双手)Sharpa Wave、Wuji Hand 2
触觉增益6 任务 42 → 65(每任务 16 次,部分分)2 任务 60.0% → 72.5%(每任务 20 次)

解读T-Rex 的消融还提供了一个 Motus2 没有的数字:把异步多次调用换成同步,6 个任务平均只从 65 掉到 60,而去掉触觉掉到 42。也就是说,这类设计的收益大部分来自“有一个只读触觉的专家负责收尾”,块内多次刷新本身贡献较小。两篇的 Split Cup 与 Pull Out Paper Cup 是同一类任务:稳住一摞套叠的杯子,只取出一只。

和 N₀-TWAM:把触觉放进世界模型本身

解读N₀-TWAM 是这个专题里第三个世界模型,它的选择和 Motus2 相反,和 ME-Dex 1.0 同边:触觉专家在每一层与视频、动作共享注意力,未来触觉和未来视频一起生成,所以世界模型的“未来”里包含接触。按上面说的代价取舍,它是用自家超过 3 万小时的 NeoData(“很大一部分”带触觉)来解决数据问题的。它同时保留了一条读当前触觉的观测通路,接在动作头之前,这一点又和 Motus2 的“当前触觉修正动作”相近,只是没有切分去噪、也没给刷新频率。

VLA 路线上的 N₀-VTLA(与 N₀-TWAM 同一团队)则走了第三条路:不做高频修正,也不生成完整的未来触觉,只预测一个动作块内触觉变化的潜变量。

术语表(点开)
通用世界模型GWM
论文用语:理解当前世界、想象可能的与动作条件的未来、并以外部反馈落地动作的整体框架;与它暴露的单个功能接口区分。
世界动作模型WAM
从观测和任务上下文生成动作、同时建模视频的模型,在 Motus2 中充当 policy 接口。
动作条件世界模型AC-WM
给定候选动作预测未来观测,充当 simulator 接口。
价值模型VM
评估预测结果、给出任务进度分,充当 evaluator 接口。
动作优先掩码action-first mask
块内 A 看不到 Z 和 U,Z 能看 A,U 能看 A 和 Z,其他 token 看不到 U。中训练起启用。
块自回归chunk-autoregressive
块与块之间因果自回归,块内的一串动作由 flow matching 一起生成。
价值查询 tokenvalue query U
只读的查询 token,读出 201 个 bin 的进度分布;其期望 V 用于排序。
loss 开关loss gates
(wz, wa, wv),与两路噪声水平一起决定当前是哪种训练模式。
监督路由supervision routing
成功轨迹训策略;失败、次优与无关交互只训模拟器和评估器。
相对进度relative progress
片段目标 ±Δt/(T−t),来自 VLAC。
κ 与 W
κ 是每块的 latent 帧数(这里为 2),W 是一个训练窗口里的 latent 帧总数(Stage 2 为 12,之后为 8)。
中训练mid-training
预训练与目标机器人后训练之间的机器人域适配阶段,100 多小时数据。
Best-of-N 规划test-time planning
提 N 个候选、模拟、打分、执行最高分,每步用真实观测重新规划(滚动时域)。
DiffusionNFT
把标量分数变成 flow-matching 策略更新的方法:用 r̂ 在正、负两个隐式速度场之间加权,参考策略为 EMA。
最优性权重r̂
候选分数在组内标准化后截断映射到 [0, 1];真值候选固定为 1。
AcceRL 式异步流水线
用 Ray 把前缀采样、想象与打分、参考目标构造、策略优化解耦,中间用有界 FIFO 缓冲。
窗口相对 RoPE
滑动窗口挤掉旧帧后,剩余视频 key 的时间坐标重新定位,保持在训练范围内。
全局自回归global AR
保留全部历史干净 latent,使用整条 episode 的时间坐标。
混合工作记忆hybrid memory
MemoryWAM 式:2 个锚点帧 + 最近 4 帧全分辨率,更早的帧压成记忆 token。
episode 打包packing
多条完整 episode 放进一次注意力调用,块对角因果掩码隔开,等价于分开处理。
σc
主干去噪停下的中间噪声水平(0.2),剩下的一步交给触觉专家。
T-Rex
触觉反应式灵巧操作的前序工作,Motus2 的触觉专家沿用了其“主干去噪到中间、专家收尾”的思路。
BoxTrim
论文的第一视角数据时间清洗流程,切掉快速转身、轨迹突变和双手失踪的区间。
宏平均macro-average
先算每个任务的成功率,再对任务取平均,每个任务权重相同。