τ₀-WM 精读

问题 · §1

能出动作的模型，和能预测后果的模型，要的是两种数据

论文的出发点是：操作就是在后果不确定的情况下行动，一个好的模型应当在真正执行前就能想到动作会怎样改变场景。但学这两件事的数据形态不同：

人类第一视角视频覆盖面广，物体怎么动、接触怎么发生、长任务怎么组织都有，却没有任何机器人能执行的动作；
机器人示范把观测和真实可执行的连续动作绑在一起，但贵，覆盖的物体、场景、任务都窄。

只用机器人数据，得到的策略能执行但窄；只用视频，得到的模型能预测却落不了地。论文的回答是把未来观测、机器人动作、任务进度放进同一个预测模型，每种数据只监督它真正包含的那部分信号。部署时，这个模型不只给出一次前向的动作，而是「提议 → 评估 → 修正」。

原文图 1：数据来源、VAM 与 ACVS、测试时计算、真机部署 — **原文 Figure 1**左：数据来源，真机 1.78 万小时（65%，G1、Franka、ARX）、UMI 6.5 千小时（24%）、第一视角人类视频 3 千小时（11%）。中上：可选的测试时计算，VAM 提出 a₁、a₂、a₃，ACVS 想象三者的结果（撞到障碍、次优、最优），奖励 r₁ < r₂ < r₃，选 a₃。中下：ACVS 给定动作滚动预测视频与奖励，并可再交给 VAM。右：真机部署。

数据 · §3

三种来源，一张监督掩码

点选一种数据，看它训练哪几项

来源与小时数取自 §3；哪些损失开启按 §3–5 的文字整理

疑点失败数据到底有多少

摘要说「约 27,300 小时」包括真机遥操作、UMI、人类视频以及 rollout 和失败轨迹；但 §3 的三项（17.8K + 6.5K + 3.0K）正好就是 27.3K，失败与 rollout 数据没有单独计入，也没有给出规模。附录同样把四类都算进 27.3K。ACVS 区分好坏动作的能力几乎全靠这部分数据，规模却不清楚。UMI 数据的「类动作信号」具体怎样换算成机器人动作空间、是否进入动作损失，正文只说是「较弱的视频-动作监督」，没有写清楚。

方法 · 视频动作模型 VAM · §4

动作分支每层都去读视频分支的特征

F_θ(o_t, p, s_t) → ( ẑ_{t+1:t+H_v}, â_{t:t+H_a−1} )(1)

输入是多视角观测 o_t、语言指令 p、机器人状态 s_t；输出是未来 H_v 步的视频潜变量和 H_a 步的连续动作块（真机部署时动作块长度 30）。

视频分支：从 Wan2.2-TI2V-5B 初始化。每个相机视角经 Wan VAE 编码，多个视角沿宽度方向拼成一张「潜变量画布」。当前观测保持干净作为上下文，未来时间槽加噪、由视频 DiT（5B）去噪。
动作分支：0.5B 的 DiT 式动作解码器。在对应的层上，动作 token 先在动作时间维上自注意力，再交叉注意力读视频分支的中间特征（这些特征已经条件在干净观测和指令上）。做法沿用 Genie Envisioner、EnerVerse 的动作专家设计。合计 5.5B。

原文图 2：(a) 视频动作模型，(b) 动作条件视频模拟器 — **原文 Figure 2**(a) VAM：多视角图像编码后进入视频 DiT 块（5B），指令经交叉注意力进入；动作 DiT 块（0.5B）读加噪动作，并交叉注意力读视频块，输出预测动作；视频分支输出预测视频。(b) ACVS：动作经编码与时间步相加，以 AdaLN-Zero 注入视频生成主干（图中标为与 VAM「共享主干」）；可选的 0.5B 奖励专家交叉注意力读主干，从噪声生成奖励。

𝓛_VAM = 𝔼[ λ_z ‖ f^z_θ(z̃, u_z, c_t, p) − v_z ‖² + λ_a ‖ f^a_θ(ã, u_a, s_t, h) − v_a ‖² ], λ_z = λ_a = 1(2)

视频和动作各自有噪声水平 u_z、u_a，h 是动作分支读到的视频中间特征。部署有两种模式：只出动作（未来视频只作为潜变量支撑动作生成，不解码，用于实时控制）；同时出视频（把未来潜变量解码成多视角视频，便于可视化）。

时延（附录）：单张 RTX 5090，只出动作时端到端约 220 ms；缓存文本表示后约 180 ms；再加 torch.compile 约 140 ms，但正文所有结果都没开 compile。

方法 · 动作条件视频模拟器 ACVS · §5

不是策略：给它一个动作，它告诉你会发生什么、离完成近了多少

G_φ( o_t−M:t, p, ā_{t:t+H_a−1} ) → ( ẑ_{t+1:t+H_v}, r̂_{t:t+H_a−1} )(3)

动作怎么注入

沿用 Cosmos 的做法：每个未来时间槽对应的那段动作打成一个块 b_ℓ，经两个轻量 MLP 分别变成 c^a_ℓ（加到扩散时间嵌入上）和 m^a_ℓ（6 倍宽，进 AdaLN 调制）。在空间和视角上广播，观测时间槽不加动作条件。去掉了 VAM 的动作分支。

奖励怎么标

把任务拆成子任务，按子任务给进度标签，在每个子任务段内用蒙特卡洛传播得到逐帧奖励。失败的子任务段整段赋负值。另外专门加了「失败多」「有恢复」的轨迹：这些做策略监督不好，但能让模拟器见到训练分布外的动作和失败的接触。

奖励怎么出

奖励不是回归出来的，而是和视频一样用 flow matching 从噪声生成：奖励头读带动作条件的视频特征 h。损失 𝓛_ACVS = 视频项 + 奖励项，权重都是 1。输入还带 M 步历史观测（M 未披露）。

解读「共享主干」是共享结构，还是共享权重？

正文写 ACVS「复用 Wan VAE 和视频 Transformer 主干，但去掉 Action DiT 策略分支」，图 2 在两者之间画了一个「Shared Backbone」箭头，相关工作一节又说 ACVS 和 VAM「共享动作接口和主干配置、在同一数据混合上训练」。这些说法都支持「两个模型结构相同、从同一个初始化出发、分别训练」，而不是同一份权重同时充当两者。论文没有明说，也没有给出 ACVS 的训练步数、数据比例和推理耗时。

方法 · 测试时计算 · §6 · 算法 1–2

先用便宜的分数筛，不放心才去想象后果

大规模异构预训练让「同一场景、同一指令」下的动作分布是多峰的：有很多可行的做法，精度、稳健性和成功率各不相同。所以挑一个好动作本身就是部署时的问题。τ₀-WM 用由粗到细的两级策略：

重去噪一致性分 RCS。VAM 采 N 个候选动作块（实验里 N = 4）。对每个候选，随机取 K 个 flow 时间步，按训练时的方式重新加噪，再让 VAM 的动作向量场预测一次，算平均误差 𝓔_RCS；分数 S_RCS = −𝓔_RCS，取最高的。作者把它看作一个轻量的「分布内过滤器」：越符合学到的条件动作分布，分越高。
低质量动作修正 LAR。如果最高分仍低于阈值 γ，就调用 ACVS 对所有 N 个候选各想象一段未来和奖励轨迹，取 J⁽ⁱ⁾ = max_q r̂⁽ⁱ⁾_t+q（想象中达到的最高进度），选 J 最大的那段未来。然后不直接执行它对应的动作，而是把这段想象的未来潜变量变成一个额外条件，再问一次 VAM，得到修正后的动作块。

走一遍决策：调阈值 γ，看什么时候会调用模拟器

候选的分数和奖励曲线是构造的示意；流程按算法 1、2

场景

γ J 的取法

疑点LAR 的关键一步没有交代

「把选中的想象未来转成条件、再问一次 VAM」是修正的核心，但 §4 描述的 VAM 只条件在观测、指令、状态上，没有任何「未来条件」的输入；VAM 怎样被训练成能接受这个条件（比如训练时把真实未来潜变量当条件），论文没写。另外 γ、K 没给数值，ACVS 一次想象要多久、一个回合里触发了几次也没报告。J 取想象轨迹里的最大进度而不是终点进度，会偏爱「中途冲高、随后失败」的动作（上面交互里可以切换看两者的差别），论文没有讨论这个选择。

实验设置 · §7 · 附录

四个没见过的长程任务，三种机器人

原文图 3：四个评测任务的关键帧 — **原文 Figure 3**(a) Toolbox：把桌上的工具放回工具箱各自的位置并合上（AGIBOT-G01）。(b) School Bag：拉开书包拉链、放进物品、再拉上（G01）。(c) Faucet：把水管接到水龙头上并固定（双臂 Franka）。(d) Badminton：把羽毛球放进球筒并盖上盖子（ARX）。

任务：四个任务都不在预训练数据里，要求长时程、多阶段交互和精确的几何对准。
基线：π0.5，Fast-WAM（一种视频-动作模型，推理时去掉未来预测以降低时延）。测试时计算另与标准执行、CFG、ACG（Action Coherence Guidance）比较。
训练：预训练全局 batch 12,288，后训练 384，AdamW，学习率 5e-5。训练步数、后训练每个任务的示范数未披露；基线怎样在这些任务上微调也没有描述。
指标：成功率，以及按阶段计的任务完成进度。

主结果 · 原文 Figure 4

平均成功率 0.64，π0.5 0.44，Fast-WAM 0.20

四个任务的成功率与任务进度

数字取自原图柱顶标注（原图为栅格图）。三个平均值与四个任务的均值核对一致。

Fast-WAMπ0.5τ₀-WM

图中数字

τ₀-WM 在 School Bag、Badminton、Faucet 上领先，Toolbox 上 π0.5 略高（成功率 0.60 对 0.55，进度 0.65 对 0.63）。Faucet 对所有方法都难，τ₀-WM 0.40、π0.5 0.15。论文还观察到一个成功率体现不出来的现象：Toolbox 里基线把工具放进槽就停，即使没插到位；τ₀-WM 常会再推一下、按一下才结束。作者猜测是显式建模未来画面，让策略更在意最终场景的质量。

疑点主结果缺两条关键信息

① 每个任务、每种方法跑了多少次没写。所有成功率都是 0.05 的整数倍，很可能是 20 次；如果是 20 次，Toolbox 上 π0.5 与 τ₀-WM 只差 1 次。② 主结果是否开了测试时计算没写。§6 说测试时计算是「可选」的，消融里又特意写「基于预训练 VAM」，主结果的 τ₀-WM 用的是哪种设置不清楚。此外，Fast-WAM 0.20 的平均成功率明显偏低，它和 τ₀-WM 同属视频-动作模型，基线怎么训练、用了多少数据决定了这组对比的意义。

消融 · 表 1–2

异构预训练与测试时计算各自的贡献

预训练数据组成（表 1）

只用机器人数据 vs 加上 UMI 与人类视频

零样本：拿笔放进笔筒；后训练：拿起物体、擦掉污渍、放回桌面。各分干净桌面与杂乱桌面。

RobotRobot + UMI + Ego

零样本平均 0.14 → 0.55，增益最大；后训练后仍有 0.70 → 0.83，杂乱桌面上更明显（0.55 → 0.75）。作者的解读是 UMI 和人类视频主要改善通用的操作先验和视觉理解。

疑点零样本的试验次数对不上

零样本这一组的 0.22、0.06、0.53、0.56 不是 0.05 的倍数，按常见的 10 或 20 次算不出来（0.06 约 1/17，0.53 约 9/17），次数未披露。另外，这组只比了「只用机器人」和「全部」两种，UMI 和人类视频各自贡献多少分不开；两种设置的总数据量也不同（17.8K 对 27.3K 小时），增益里混着「数据更多」这一项。

测试时计算（表 2）

单次尝试、不允许重试，每格 20 次

Tissue→Box：抽一张纸巾放进盒子；Pen→Box：拿笔放进盒子。默认每步 4 个候选。

Tissue→BoxPen→Box平均

只加 RCS，平均 0.43 → 0.50；作者据此认为相当一部分失败来自「采到了不好的样本」，而不是策略能力不够。再加 LAR 到 0.60，Pen→Box 上提升更大（0.35 → 0.50），作者认为需要精确放置的任务更受益于基于未来的修正。CFG 和 ACG 都低于不做任何处理。

疑点测试时计算的证据只有两个简单任务、40 次试验

按次数换算，Tissue→Box 是 11 → 13 → 14 次成功，Pen→Box 是 6 → 7 → 10 次。RCS 带来的提升是每个任务多 1–2 次成功，在 20 次试验下不显著。测试时计算没有在四个主任务上评测，而论文的论点（多峰分布、需要在困难状态下修正）恰恰更适用于那些长程任务。CFG 把成功率从 0.43 拉到 0.20，说明基线方法的引导强度可能没调好，参数也没给。

读懂它

这篇真正说明了什么

关键 insight

1. 策略和评价器可以出自同一个视频模型

VAM 和 ACVS 共用 Wan 视频主干的结构和训练数据，一个出动作，一个对动作打分。这让「提议—评估—修正」不需要另外拼一个不相关的世界模型或价值函数。

2. 先用便宜的分数，再用昂贵的想象

RCS 只需要动作分支再前向 K 次，几乎不额外花钱；ACVS 要生成多视角视频，只在 RCS 不放心时调用。这是一种按需分配测试时算力的设计，和 τ₀-VLA 按 token 置信度决定是否搜索是同一思路。

3. 失败数据训评价器，不训策略

失败、恢复轨迹作为策略监督是负资产，作为模拟器和奖励头的训练数据却正好补上「错的动作会导致什么」这一块。不同的数据进入不同的损失，是全文数据设计的主线。

4. 评价结果不直接执行，而是变成条件

LAR 选出最好的想象未来后，不执行它对应的那个候选，而是让 VAM 朝这个未来重新生成。思路上类似「目标图像条件的策略」：想象出的未来充当了子目标。可惜这一步的训练方法没有写。

容易误解的地方

不是在模拟器里搜索很多步。每次决策只对 4 个候选各想象一个动作块长度的未来，没有多步展开或树搜索。
RCS 不是成功率的估计。它衡量候选是否「像训练分布里的动作」，偏向典型动作，并不直接衡量能否成功；论文也没检验 RCS 与成功的相关性。
测试时计算的数字不是主结果的数字。表 2 在两个简单抓放任务上，主结果在四个长程任务上，两者设置不同。
220 ms 是只出动作时的时延。开测试时计算后，RCS 和 ACVS 的额外开销没有报告。

FAQ

为什么 CFG 反而让成功率大幅下降？

论文只给了结果，没给 CFG 的引导系数，也没有分析原因。CFG 会把采样推向更「条件化」的区域，对多峰的动作分布可能产生过于极端的动作。CFG 和 ACG 改的是生成过程本身，τ₀-WM 的做法是生成后再评价，作者以此区分两类方法。

和 τ₀-VLA 是什么关系？

同一个通讯作者（Jianlan Luo）、同属 AGIBOT Finch 与上海创智学院，作者有不少重叠。τ₀-VLA（2026-08）在子任务层面用世界模型想象终态图像、价值模型打分；τ₀-WM（2026-05）在动作块层面用模拟器想象视频和逐帧奖励。两篇互相都没有引用。τ₀-VLA 的相关工作把「动作层面的搜索」评价为「往往只暴露局部的物理后果」，这正是 τ₀-WM 所在的层面。

人类视频没有动作，怎么帮到动作生成？

人类视频只训视频分支。动作分支每层都交叉注意力读视频分支的特征，所以视频分支学到的物体运动、接触、任务结构，会经由这些特征间接帮到动作。零样本拿笔放笔筒从 0.14 提到 0.55，是这条路径的主要证据，但它和数据总量增加混在一起。

局限与疑点

作者承认的，和我们读出来的

论文自己提到的

很多灵巧操作需要视觉以外的信息，未来想加入触觉，处理插入、紧固、可变形物体等接触密集的交互。
部署时的推理机制还不够可靠，需要更好的不确定性估计、更长时程的评估、更有效的搜索。
预测的时间范围还可以更长，场景还可以更复杂。
torch.compile 可能引入数值差异，所以主结果都没开。

我们读出来的

疑点主结果的试验次数、是否开测试时计算都没写；基线训练方式未描述。
疑点LAR 中「未来条件」怎样输入 VAM、VAM 如何为此训练，全文未交代。
疑点γ、K、M、ACVS 时延与触发频率均未披露；J 取最大值的副作用未讨论。
疑点失败 / rollout 数据的规模不明，摘要与 §3 的口径不一致。
测试时计算只在两个简单任务、各 20 次上评测，RCS 的提升是每任务 1–2 次。
数据消融只比了两种配方，且总数据量不同；零样本组试验次数不明。
ACVS 想象的视频质量与奖励准确度没有单独评估。

放到专题里看

动作层面的「执行前评估」

在 Harness for Robotics 专题里，τ₀-WM 属于（4）评估与反馈，而且是「执行前」那一端：候选动作先经策略自身的一致性检查，再经模拟器想象和打分，评价结果决定执行什么。它补上了专题里一个空位：τ₀-VLA 在子任务层面做执行前评估，τ₀-WM 在动作块层面做。

	τ₀-WM	τ₀-VLA	TT-VLA	RoboTTT
评价时机	执行前，每个动作块	执行前，仅在置信度低时	执行后，每一步	执行后，每一步（不打分）
评价的对象	4 个候选动作块	候选子任务（束搜索）	已执行的动作	—
评价器	RCS（策略自身）+ ACVS（想象视频 + 逐帧奖励）	世界模型想象终态图 + 五档价值模型	VLAC 进度估计	训练时：人的纠正
按需调用	RCS 低于 γ 才调用 ACVS	token 置信度低才搜索	每 8 步固定更新	每步都更新
反馈改变什么	选哪个动作；想象的未来作为条件重新生成	选哪个子任务；记忆	LoRA 参数	快权重
评价器训练数据	含失败与恢复轨迹，子任务进度标签 + 蒙特卡洛传播	提议模型与世界模型生成的离线轨迹，对照真实下一步打分	现成模型	DAgger 数据

和 τ₀-VLA：同一团队、相近思路、不同层面。τ₀-VLA 想象的是子任务完成时的单张头部图像，打的是五档分；τ₀-WM 想象的是一个动作块内的多视角视频，打的是逐帧进度。τ₀-VLA 认为动作层面的搜索只能看到局部后果，所以把搜索放在子任务层；τ₀-WM 的四个主任务都是长程任务，却只在动作块层面评价。两者在架构上可以叠加。
和 TT-VLA：都用「任务进度」做评价信号。TT-VLA 用现成的 VLAC 在执行后算进度差，并据此更新参数；τ₀-WM 训练自己的奖励头，在执行前对想象的未来打分，只用来选动作，不改参数。
和 MotorMind（3）：MotorMind 的 Verifier 和 Monitor 在执行中、执行后检查真实观测；τ₀-WM 在执行前检查想象的观测。前者看到的是真的但已经发生，后者能提前避免但可能看错。

术语表

读这篇会遇到的词

展开术语表

VAM: Video Action Model，视频动作模型：同时预测未来视频潜变量和动作块的策略。
ACVS: Action-Conditioned Video Simulator，动作条件视频模拟器：给定候选动作，预测多视角未来和逐帧奖励。
RCS: Re-denoising Consistency Score，重去噪一致性分：候选动作重新加噪后被 VAM 还原的误差的相反数。
LAR: Low-quality Action Rectification，低质量动作修正：用 ACVS 选出最好的想象未来，再条件化 VAM 重新生成动作。
γ: RCS 的可靠性阈值，低于它才调用 ACVS。
J: 想象奖励轨迹在动作块内的最大值，用来给候选排序。
监督掩码: 按样本指定哪些输入可见、哪些目标要预测、哪些损失开启。
UMI: Universal Manipulation Interface 式手持夹爪采集，动作信号来自设备运动。
Fast-WAM: 一种视频-动作模型，推理时去掉未来预测以降低时延。
CFG / ACG: 无分类器引导 / 动作一致性引导，两种改变生成过程本身的方法。
AdaLN: 自适应层归一化，扩散 Transformer 中注入条件的常用方式。