N₀-TWAM 精读

问题

世界动作模型预测的未来里，只有画面

拧螺丝、从一摞杯子里剥出一只、夹住软物体，这些任务的成败取决于指尖发生了什么，摄像头很难分辨，力或触觉传感器能直接报告。作者认为策略需要两样东西：触觉，以及预判接下来的交互会怎样展开的能力。

VLA 有语义先验但不建模“下一刻”；视频世界动作模型（LingBot-VA、DreamZero）会预测未来，可预测的未来几乎总是纯视觉。触觉进入这幅图景的三条路都不完整：

触觉策略把触觉当输入通道消费，从不预测它（Tactile-VLA）；
另一类用一个独立的、常常冻结的触觉预测器挂在策略旁边，预测发生在执行动作的网络之外（DreamTacVLA、TacForeSight）；
同期的触觉世界动作模型把触觉放进模型，却通过门控或掩码让它“保持距离”，以保护视觉流（Dream-Tac、Tactile-WAM、OmniVTA）。

N₀-TWAM 要的是：触觉和视觉在同一个目标、同一个因果步里一起被预测，动作从这个共同预测的未来里读出。

原文图 1：N0-TWAM 总览 — **原文 Figure 1**右上：视频、触觉、动作三个专家共享注意力，生成的视频和触觉（虚线框）送进动作专家，观测到的触觉在旁边直接接到执行。左下：触觉的两种流，一是“触觉预见”（观测触觉 → 触觉专家 → 预测触觉），二是“触觉条件动作”。中下：NeoData 3 万多小时视触觉数据。右下：三个基准的均值，N₀-TWAM 在每一块都领先 π0.5 和 LingBot-VA。

架构 · §2.1

三个专家，一次共享注意力，一个“先预测再行动”的掩码

给定指令 c 和观测历史，模型按块自回归地建模未来视频 x^v、未来触觉 x^t 和动作 x^a 的联合分布，每块内部拆成“预测”和“行动”两个因子：

p_θ(x^v_1:K, x^t_1:K, x^a_1:K | c) = ∏_k p_θ(x^v_k, x^t_k | X_<k, c) · p_θ(x^a_k | x^v_k, x^t_k, X_<k, c)(1)

flow matching 在“潜帧组”粒度上加噪。每块里视频、触觉各 2 个 VAE 潜帧，动作按对齐到每个潜帧的动作步分组，所以 J_v = J_t = J_a = 2。每组独立采一个噪声水平 σ，组内所有 token 共用。损失对三个模态加权求和，权重 1 : 1 : 1，另乘 SNR 权重和“单臂数据屏蔽缺失手臂”的有效性掩码。

MoT。第 ℓ 层里，每个专家用自己的 AdaLN 和投影算 Q/K/V，按 [v | a | t] 顺序拼起来做一次带掩码的自注意力，再各自走自己的门控输出投影和 FFN。和同期工作“在注意力里限制触觉”不同，这里是在权重上隔离：视觉和触觉在注意力里彼此完全可见，但各有独立的容量。

原文图 2：N0-TWAM 结构总览 — **原文 Figure 2**原始视频和原始触觉各自编码成潜 token，进入视频、触觉、动作三个专家，三者只通过共享自注意力交互。语言经交叉注意力进入视频专家（和动作专家），**不进触觉专家**。右侧是观测通路：专用触觉编码器处理当前触觉，交叉注意力接到动作 token 上，去噪后的动作解码执行。

非对称宽度：视频专家占七成

共享注意力保持全宽 d = 3072（24 头 × 128），每个专家的残差流和 FFN 宽度 d_m 可以更窄，靠薄的边界投影接到注意力上。视频专家从一个非 MoT 的共享主干世界动作模型（LingBot-VA）拆出来热启动；动作和触觉专家宽 1024，从头训练，只能通过共享注意力“借用”视觉先验。表 1：

N₀-TWAM（非对称）

视频 5.00B1.13B1.03B

全宽三专家（估计）

视频 5.00B动作 ≈5.0B触觉 ≈5.0B

条长按总参数量等比例：7.16B vs ≈15B。30 层；冻结的 Wan VAE 和 umT5 不计入。

扩散强制的因果掩码

每个 token 有两个索引：潜帧位置和噪声状态。同一帧的视觉和触觉 token 共享一个位置，动作排在它所依赖的预测帧之后。生成中的 token 是 noisy，成为历史后是 clean。训练时 clean 历史就是真值（teacher forcing），只对当前块去噪；为了让模型容忍测试时不完美的历史，clean 的视频和触觉历史以 0.5 的概率被轻度重新加噪，动作历史保持干净。掩码三条规则：

clean token 看位置不晚于自己的 clean token；
noisy token 看严格早于自己位置的 clean 历史；
noisy token 看同一位置的 noisy token，即共同生成。

点一行：这个 query 能看到哪些 key

按原文图 3 重画，两块 · 每个 V/T 格代表块内 2 个潜帧

实心 = noisy 副本，斜纹 = clean 副本。V 视频、T 触觉、A 动作；下标 0、1 是块 k、k+1。

动作表示。每臂 10 维（3 维位置 + 6D 朝向 + 1 维夹爪），双臂 20 维，单臂只填一半并在损失里屏蔽另一半。仿照 π0.5 用相对块首位姿的 delta 目标，但 delta 是逐元素相减，旋转部分也不用 SO(3) 上的相对旋转：作者的理由是相对旋转在几乎静止时是一个非零常数，小误差会累积成持续的朝向偏移，逐元素相减则让静止状态恰好是零向量。夹爪保持绝对值。

两条触觉通路 · §2.2

在潜空间里预测，在力空间里观测

所用的触觉传感器是视觉式的：一个小相机拍摄受压变形的凝胶，所以触觉观测本身就是一段 RGB 视频。这是让“同一个 VAE 编码视频和触觉”成立的前提。

预测：未来触觉是生成目标

每路触觉用 Wan VAE 编码，按和视频相同的 (1, 2, 2) patch 切成 token；一个可学的传感器 id 嵌入（最多 4 路）让同一个专家同时服务单臂和双臂。

预测采用残差形式：Δ^t_i = x^t_i − x^t₀，因为远离接触时触觉几乎不变，信息集中在接触开始和松开时的变化量上。

每个触觉 token 占用它所伴随的视频帧的时间位置，所以服从同样的因果和窗口规则：预测的画面和预测的接触在规则 (iii) 下一起去噪、互相条件。

观测：当前触觉是动作的条件

观测通路只需“读懂”当前读数，不需要生成它，所以在力空间读：冻结的估计器 g_θ 把原始触觉图变成稠密的三轴表面力图 [f_x, f_y, f_z] 加接触掩码（平行夹爪共 6 通道），NeoForce 编码器（随动作损失微调）把它变成 token，在动作头之前经交叉注意力并入动作流：

h^a ← h^a + CrossAttn(h^a, E_obs(x^t_now)), W_out = 0 初始化

零初始化让这条支路一开始是严格的空操作，嫁接到预训练模型上不扰动它。

原文图 4：两条触觉通路与 NeoForce — **原文 Figure 4**左上：原始触觉分两路进动作头，“想象的触觉”预训练和后训练都有，“感知的触觉”只在后训练。右上：NeoForce 在 NeoData 上的三个预训练目标：力空间重建、视触跨模态对比、掩码潜变量预测。下：真机流水线 InTac S1 传感器 → 触觉光流（DIS）→ 力估计器输出 F_X、F_Y、F_Z 三张力图 → NeoForce 编码成 token → 动作头。

NeoForce 是什么。它是同团队 N₀-Foundation 的触觉表示模型：输入一段同步的 RGB 帧和触觉力图（每段 4 帧），视觉和触觉各自切 patch，送进同一个从 DINOv2 初始化的 ViT-B 融合；一个重建头把力图和接触掩码解码回来，使表示绑定在物理量上。因为单位是物理的、不依赖某种凝胶的外观，同一个编码器可以服务不同传感器。它先在 30 个任务的 2 万条真机和 Neo TacUMI 示范上预训练（8 张 A100，10 万步，学习率 2×10⁻⁵）。

仿真里不用 NeoForce。仿真触觉来自 NeoForce 没见过的传感器，所以 E_obs 换成一个从头训练的轻量分支：对当前帧触觉潜变量做线性 patch 嵌入，加传感器 id 和帧/高/宽位置嵌入，接到同一个零初始化的交叉注意力口上。

分阶段：预训练只开预测，后训练才开观测

预训练的任务是在大规模数据上学一个生成式世界模型，预测的触觉潜变量本就是生成目标，和这个目标契合。观测流是条件输入，还依赖 NeoForce 和成对的当前触觉，更重要的是：预训练时把真实的当前接触直接交给策略，会让它依赖这个信号，把本该学的预见能力练少了。所以观测通路到后训练才打开。

条件 dropout 用“缺席”而不是“置零”。语言和触觉条件各以 0.1 的概率丢弃。语言丢弃换成可学的空嵌入；触觉丢弃则整个不传入，注意力序列里没有触觉 token，触觉模块这一步没有梯度，这一步训练的就是纯视频-动作模型。好处有三：没有触觉传感器的本体数据走同一个接口；模型同时学会了纯视觉的边缘策略，传感器失效时退化为它而不是面对分布外的零输入；推理时可以做触觉 classifier-free guidance（所有报告结果都取 w = 1，即不放大）。

触觉感知执行 · §2.3

三个时间尺度：反射、预测、任务时钟

传感器频率 · 反射

观测通路在去噪循环之外，可以在两次块级重预测之间按传感器频率刷新条件。流式部署时，真实到达的视频帧和触觉读数替换掉缓存里对应的预测条目，让滚动上下文锚定在机器人实际看到和感到的东西上。

块频率 · 预测

每块内先去噪未来视频和触觉，再去噪动作。因为视频和触觉 query 不看当前块的动作，预测阶段结束后它们每层的 K/V 固定下来，缓存后每个动作去噪步只重跑窄的动作专家；动作还可以用自己更短的去噪步表。下一块在当前块执行时异步预测。可选 FP8（Blackwell 上 NVFP4）部署。

事件频率 · 任务时钟

长时程任务里，同一句总指令不告诉模型现在在哪个阶段（倒茶做到一半的桌面和倒茶前很像），模型会卡住、重复或跳步。子任务以接触事件为界：抓取在接触开始时开始、在松开时结束。于是用触觉“标点”切分示范、推进执行。

原文图 5：触觉标点驱动的长时程执行 — **原文 Figure 5**(a) 训练：一条长示范的夹爪开度（上）和触觉强度 ‖f‖（下）。中间那次“抓取失败”，夹爪合上了（开度下凹），触觉却没有上升，所以同一个信号既能切分子任务，也能确认子任务成功。每段配一句短指令（Gemini 3.5 Flash 生成，人工抽查）。(b) 推理：轻量调度器维护子任务队列，由触觉反馈决定何时推进到下一句提示。

推进的判据同时用到两种触觉角色：预测的未来触觉提前一步触发推进，观测到的松开或接触开始事件随后确认，才真正切换。子任务序列可以预先固定，也可以由 VLM 规划器生成；何时推进始终由触觉事件检测器根据实际执行决定。数据侧的切分也以触觉为主，触觉线索弱时退回到夹爪开度，最后人工核对。

数据与训练 · §3 · §4.1

3 万小时、6 种本体、450 个任务

项目	内容
语料	NeoData，超过 30,000 小时，6 种本体（ARX5、UR、Flexiv、Franka、PiPER、手持 UMI），450 个接触任务；“很大一部分”回合带同步的逐指触觉（具体比例未披露）
编码	视频和触觉都用同一个冻结的因果视频 VAE（Wan2.2，时间 4×、空间 16× 压缩），每路触觉当作一段小视频；语言用冻结的 umT5。全部离线编码缓存，训练时编码器不参与前向。规模约 10⁹ 帧
切窗	每个窗口 33 个潜帧 = 387 个 30 fps 原始帧，降采样到 129 帧（10 fps）再经 4× 压缩；窗口步长 24 潜帧（约 27% 重叠），尾窗右对齐；只用所有模态都完整的窗口
动作	统一的 20 维末端空间，按机器人分别归一化，夹爪通道分位数截断
预训练	视频、触觉、动作损失 1:1:1，只开预测触觉；两阶段课程（先真机数据，再混入约 60% 的 UMI 数据）。AdamW，lr 10⁻⁴，wd 0.1，30,000 步（约 2.2 epoch），有效 batch 512，128 张 H800，FSDP2 + bf16；每任务留 3% 做验证
后训练	每个任务单独微调，打开观测通路；动作块 24 步（每潜帧 12 步）；AdamW lr 10⁻⁴，wd 0.1，梯度裁剪 2.0，每卡 1 个样本、4 步梯度累积，默认 1000 步；真机配置 3 路 RGB、最多 4 路触觉

原文图 11：逐模态预训练损失 — **原文 Figure 11**预训练前 18k 步里视频、动作、触觉三条 flow matching 损失（MoT 让它们可以分开记录）。+UMI 标记处混入手持 UMI 数据：视频损失上跳并收敛在更高的位置（新的视觉分布），触觉损失几乎不动（两种来源的触觉信号相似），动作损失只有一个小台阶。

疑点预训练课程的顺序，正文和附录说反了

§4.1 说先在真机数据上训到收敛，再从该 checkpoint 继续并混入约 60% 的 UMI 数据；附录 C 说的是“先混入 UMI，再在纯真机遥操作数据上继续”。图 11 里 +UMI 标记出现在 18k 步之内（全程 30k 步），和“先训到收敛”也不太吻合。

实验设置 · §4.2

两个仿真套件，8 个真机任务

评测	任务	试验	基线
UniVTAC	公开触觉仿真基准，8 个任务	每任务 100 次	VLA：π0.5、StarVLA-α、InternVLA-A1、Xiaomi-Robotics-0；WAM：GigaWorld-Policy、LingBot-VA、FastWAM（均无触觉）
NeoSim	自家仿真，4 单臂 + 8 双臂	每任务 100 次	同上，没跑 FastWAM
真机	单臂 Flexiv：Fruit Collection、Bottle Standing、Socket Plugging、Hanoi Tower；双臂 PiPER：Cup Stacking、Board Wiping、Making Lemon Tea、Bag Packing。其中 6 个来自 NeoReal，Lemon Tea 和 Hanoi Tower 是长时程	每任务 20 次	π0.5、LingBot-VA、FastWAM

所有方法都在 §2.3 的异步滚动时域协议下闭环评测。每个控制周期：读当前多视角 RGB、滚动历史缓存和当前观测触觉，跑一次级联预测未来画面和接触，窄动作专家用自己的短去噪步表生成一个 16 步动作块。超时预算为该任务训练示范长度的 1.5 倍。真机触觉传感器是 InTac S1（Shanghai Xinzhi Embodied Intelligence / NeoteAI）。成功由仿真器判据或操作员按固定标准判定，结果是按任务等权的宏平均。

原文图 7：8 个真机任务 — **原文 Figure 7**上排单臂 Flexiv 的 4 个任务，下排双臂 PiPER 的 4 个任务。每个任务都有论文所说的“触觉关键决策点”：稳固抓取、初始滑移、首次接触、卡死、支撑转移、最终就位。

结果 · §4.3–4.6

仿真大幅领先，真机稳定领先，消融起伏很大

UniVTAC（表 2）

8 个任务的成功率（%）

黑框为每列最高（与原表加粗一致）。

原表数字（表 2）

论文的读法：纯视觉的世界动作模型在这里甚至不如 VLA（LingBot-VA 31.4、FastWAM 48.0、GigaWorld 16.5），说明只预测未来画面不足以解决由接触定义的任务；让触觉成为世界动作模型的原生模态，才把差距补上。N₀-TWAM 和它的基座 LingBot-VA 相差 53 分。

NeoSim（表 3）

12 个任务的成功率（%）

行是任务，列是方法；黑框为每行最高。

原表数字（表 3）

均值 49.4 vs π0.5 的 45.8。论文解释仿真里触觉优势较小：仿真触觉不是预训练用的传感器，观测通路退回到从头训的轻量编码器而不是 NeoForce。12 个任务里 N₀-TWAM 在 6 个上第一；Unplug & Plug Charger 和 Place Gears 是 0，而 π0.5 分别是 23 和 18。

疑点主表混用了两种动作参数化

表 6 比较 delta 和绝对末端位姿，并写明“我们在这些任务上采用绝对位姿”。表 6 里绝对位姿那一行（Lift Can 93、Lift Bottle 58、Put Bottle 87、Grasp Chip 92）和表 2、表 3 里 N₀-TWAM 的数字完全一致，所以主表这 4 个任务用的是绝对位姿，其余用 delta。解读按表 6 的 delta 数字换回去重算：UniVTAC 从 84.5 变成 75.0，仍高于 InternVLA-A1 的 67.1；NeoSim 从 49.4 变成 44.9，低于 π0.5 的 45.8。基线用的是哪种参数化，论文没有说明。

真机（原文 Figure 6）

8 个真机任务的成功率（%）

每任务 20 次；数字取自 tex 源码里的 TikZ 数据。最右一组是宏平均。

π0.5LingBot-VAFastWAMN₀-TWAM

图中数字

宏平均 46.3 vs 30.0 / 21.9 / 14.4。差距最大的是需要分辨“隐藏接触状态”的任务：Bottle Standing 70 vs 最好基线 20，Board Wiping 55 vs 40，Socket Plugging 70 vs 60，Fruit Collection 60 vs 50。两个主要靠视觉引导放置的任务 π0.5 持平或略好：Cup Stacking 50 vs 45，Bag Packing 20 vs 15。论文自己指出，20 次试验时单任务成功率的二项标准误最高约 11%，单个任务的差距只能当作参考，要看方向是否一致和平均差距。

原文图 10：柠檬茶抓取时预测的未来触觉与真值 — **原文 Figure 10**Making Lemon Tea 抓取时，上排是模型预测的未来，下排是真值。从左到右：第三人称和右腕 RGB，然后两根手指（rl、rr）各自的触觉图和接触光流图。左指 rl 的光流热区位置和大小对得上；右指 rr 预测的热区明显比真值少，真值里下方的大片接触没有被预测出来。这是论文里唯一的真机触觉预测示例，没有定量指标。

原文图 8：Insert Hole 仿真中预测的未来与真值 — **原文 Figure 8**仿真 Insert Hole：上半是预测，下半是真值；每块里多视角 RGB 在上，两路触觉在下。最后两列插入时触觉条纹出现斜向变化，预测也捕捉到了。

泛化（表 4）

三个方向，每个方向只在一两个任务上测

未见物体：Bottle Standing 和 Bag Packing 换新物体；未见位置：Cup Stacking 放在训练分布外的位置；视觉扰动：Fruit Collection 改光照和背景。

π0.5LingBot-VAN₀-TWAM

N₀-TWAM 不是每个方向都最好：未见物体上 π0.5 80、LingBot-VA 75，它只有 65。它的优势集中在视觉扰动上（45 vs 25 / 30），论文解释为触觉提供了不依赖视觉的接触信号。平均 51.7 vs 50.0，差 1.7 分。

消融（图 9、表 7、表 8）

任务平均成功率

所有变体从同一 checkpoint 热启动，数据、超参、步数相同。“20% 预训练”只在 UniVTAC 上跑。w/o predicted 是信息消融：把预测的触觉潜变量在加噪前置零，序列布局、掩码、损失都不变。

完整20% 预训练数据w/o predictedw/o observed

逐任务：和完整模型相比

绿框 = 高于完整模型，红框 = 低于完整模型 10 分以上。

原表数字（表 7、表 8）

解读平均数下面是很不规则的逐任务变化

UniVTAC 上，w/o predicted 的下降几乎全来自两个任务（Lift Bottle 58 → 16、Put Bottle 87 → 22），在 Insert HDMI 和 Pull-out Key 上反而更高；w/o observed 在 Lift Bottle 掉到 0，却在 Put Bottle 升到 92。NeoSim 上 w/o predicted 的 Cup Handover 是 65，完整模型只有 14；w/o observed 的 Plate Stack 从 98 掉到 15，Cup Stack 却从 12 升到 38。仿真每格 100 次，这些不是试验噪声，更像训练本身的方差；论文没有报告多次运行或种子方差。所以“两条通路都承重”在平均意义上成立，但哪条通路对哪个任务起作用，这组消融说不清。

还要注意：三个变体都从同一个带触觉预测预训练的 checkpoint 出发，消融只作用于后训练阶段；“20% 预训练”变体 65.4 说明预训练规模是 UniVTAC 上最大的单一因素（−19.1），但它同时减少的是视频、动作和触觉的全部预训练数据。

分析：delta vs 绝对位姿（表 6）

4 个对齐敏感任务

Delta（默认）Absolute（主表采用）

作者的解释：delta 以移动中的块首位姿为锚，每块的小误差会累积，目标从不绑定到固定位置；绝对位姿直接落在世界坐标里。两者是“平移不变的泛化”和“到达特定位姿的精度”之间的取舍。统一的多本体策略用 delta，亚厘米级放置决定成败的单任务设置用绝对位姿。

分析：仿真触觉的真实感与 NeoForce（表 5、表 9、表 10）

原文图 9：同一段触觉流的两种渲染 — **原文 Figure 9**同一次仿真执行。上：RGB 场景；中：仿真器自带的 clean 渲染（Taxim 式标定 GelSight 渲染，接触显示为平滑的颜色块）；下：作者叠加的 gel-rendered 渲染，银色凝胶底、彩色细斑点随接触位移和压痕梯度平流，外加深度阴影和颗粒噪声，看起来像真实的视觉式触觉。两者来自同一个接触仿真，只有成像方式不同。

触觉输入	UniVTAC	NeoSim 单臂	NeoSim 双臂
Clean（仿真器原生，主表所用）	84.5	63.8	42.3
Gel-rendered（从头训的观测编码器）	82.4	58.5	39.3
Gel-rendered + NeoForce	88.1	64.8	—

换成更真实的渲染只掉 2–5 分；再用在真实触觉上预训练的 NeoForce 读它，UniVTAC 升到 88.1，单臂 NeoSim 升到 64.8。增益集中在承重或剪切线索明显的任务：Put Bottle 82 → 96、Insert HDMI 63 → 75、Pull-out Key 74 → 83、Grasp Chip 82 → 92、Pour Ball 55 → 68。作者把它当作 sim-to-real 信号：仿真触觉看起来像真的以后，在真实触觉上预训练的力编码器能迁移过来。双臂 NeoSim 没有跑 NeoForce 版本。

读懂它

这篇真正说明了什么

1. 触觉可以直接复用视频 VAE

视觉式触觉本身就是凝胶的视频，所以不需要专门的触觉编码器，预测触觉就是“再生成一段小视频”。这让触觉专家和视频专家的 token 可以直接在注意力里比较。代价是它依赖视觉式传感器，对力/力矩或阵列式触觉不直接适用。

2. 非对称 MoT 让“多一个模态”几乎不增加推理成本

块内的单向依赖（视频/触觉不看当前动作）使得预测完的 K/V 可以缓存，每个动作去噪步只跑 1B 级的动作专家。触觉预测和视频预测在同一次前向里完成。论文没有给具体时延，但这是一个清楚的结构性论证。

3. 预测和观测解决不同的失败

论文的说法：触觉预见在接触发生之前减少错误（避开画面看着合理、但预测接触和稳定抓取/插入不一致的动作）；观测触觉在接触之后提供短时延的修正（滑移、剪切、不对称接触、压力过大）。消融的平均值支持两者都有用，NeoSim 上观测通路更重要（−19.8 vs −8.3）。

4. 触觉也是任务的“标点”

接触开始和松开天然切分子任务，而且触觉能区分“夹爪合上但没抓到东西”。用它切示范、推进子任务提示，是一个几乎零成本的长时程技巧。不过论文没有单独评估这个调度器。

容易误解的地方

“传感器频率的反射”没有数字支撑。观测通路的交叉注意力在动作专家里、动作头之前，刷新条件意味着要重新跑动作去噪。论文没有报告刷新频率、单块延迟、动作频率。
仿真的“观测触觉”不是 NeoForce。主表的仿真结果用的是从头训的轻量编码器和仿真器原生的 clean 渲染；88.1 那个数是另一个设置。
“大规模触觉预训练”里触觉的比例未知。NeoData 3 万小时里“很大一部分”带触觉，没有具体数字；没有触觉的回合通过 dropout 的“缺席”机制照样参与训练。
w/o predicted 不是去掉触觉专家。它把预测目标置零，但触觉专家、token 布局、预训练里学到的触觉预测都还在。

FAQ

一个动作块对应多长的物理时间？

论文没直接写，可以从数据处理推：每个潜帧对应 10 fps 下的 4 帧，即约 0.4 秒；每块 2 个潜帧，约 0.8 秒；后训练每潜帧 12 个动作步，相当于 30 Hz 的动作。但闭环评测部分写的是每次去噪“16 步”动作块，和后训练的 24 步（2 × 12）对不上，论文没解释。

和同团队的 N₀-VTLA 比，哪个更好？

论文没比。两篇用同一套仿真基准和同一批基线数字：UniVTAC 84.5 vs 83.1，NeoSim 49.4 vs 50.8，几乎打平。真机两篇共有 6 个任务，π0.5 的数字完全相同；在这 6 个任务上 N₀-TWAM 均值 52.5，N₀-VTLA 55.0（我们算的）。N₀-TWAM 是 7.16B 的视频生成模型，N₀-VTLA 是 π0.5 级别的 VLA，后者便宜得多。

为什么视频专家要热启动、另外两个从头训？

视频专家直接继承 LingBot-VA（Wan2.2-TI2V-5B 系）的视觉和动力学先验；动作和触觉专家宽度 1024，和共享注意力宽度不同，没法直接复用，而且这两个模态也没有大规模预训练值得继承，所以从头训，只通过共享注意力“借”视觉先验。

触觉 CFG 旋钮有用吗？

“缺席式”dropout 让同一个模型同时学了有触觉和无触觉两种策略，理论上可以做触觉 classifier-free guidance，放大模型对触觉的依赖。但所有报告结果都用 w = 1，也就是没用，效果未知。

局限与疑点

作者承认的，和我们读出来的

论文自己提到的

推理还需要更快，才能支持更高的控制频率（未来工作）。
预测的视觉和触觉时间窗还短，希望能更早预见接触事件。
需要覆盖更多种类的触觉传感器，学到的表示才能迁移到更多本体。
真机每任务 20 次，单任务差距的标准误可达约 11%，只能看方向和平均。
仿真触觉不是 NeoForce 预训练用的传感器，仿真里触觉优势较小。
视觉引导放置为主的任务（Cup Stacking、Bag Packing）上 π0.5 持平或更好；未见物体上 π0.5 更好。

我们读出来的

疑点主表 4 个任务用绝对位姿，其余用 delta；按 delta 重算 NeoSim 不再领先 π0.5。
疑点预训练课程顺序正文与附录矛盾；动作块 24 步（后训练）与 16 步（闭环）不一致。
疑点没有任何时延、控制频率、吞吐数字，“实时”“传感器频率反射”只有结构论证。
疑点消融逐任务变化极不规则，没有报告多次运行；消融只作用于后训练。
§4.3 说在 Plate Stack、Bowl Stack 上“明显领先”，实际是 98 vs 96、97 vs 93。
触觉预测质量没有定量指标，只有两个定性例子，柠檬茶例子里右指的预测和真值差别明显。
泛化每个方向只在一两个任务上测，试验次数未注明。
触觉标点调度器没有消融；两个长时程任务成功率只有 15%（Lemon Tea）和 40%（Hanoi Tower）。
和同日发布的 N₀-VTLA 共享基准和基线数字却不互相比较。

放到专题里看

“触觉即世界状态”这条线上，预测与观测都要

在力与触觉专题里，N₀-TWAM 和 ME-Dex 1.0 是最接近的两篇：都是 Wan2.2-5B 系视频专家 + 窄动作专家 + 触觉专家的三专家世界动作模型，都把未来触觉当成要生成的观测。

	N₀-TWAM	ME-Dex 1.0	Motus2	N₀-VTLA
视频专家来源	LingBot-VA	Motus	Wan2.2-5B（一套权重三接口）	无（π0.5 VLA）
专家宽度	3072 / 1024 / 1024	3072 / 1024 / 512	触觉专家宽 128 的旁路	—
专家怎么交互	每层共享一次自注意力	只在中间层 H-Bridge 联合注意力	触觉专家读主干 KV	z 拼在动作后缀前
触觉表示	与视频共用 Wan VAE（视觉式传感器）	规范手 + 统一触觉 AE	力向量 / 形变图	DINOv2 差分 token
预测未来触觉	是，残差形式，推理时也生成	是，推理时也生成	训练时预测力窗口，部署不用	只在 Stage 1 预测一个潜变量
当前触觉	力空间 NeoForce，交叉注意力进动作流	作为干净条件；推理时置零几乎不影响 RoboTwin	去噪最后一段的条件	只经预测器进入

和 ME-Dex：两篇在“当前触觉有没有用”上给出了相反的证据。ME-Dex 推理时把当前触觉置零，RoboTwin 几乎不变；N₀-TWAM 去掉观测通路，NeoSim 从 49.4 掉到 29.6。差别可能在于 N₀-TWAM 给了观测一条专门的力空间通路，而 ME-Dex 只把当前触觉当作生成的首帧条件；也可能只是基准不同。
和 Motus2 / T-Rex：那两篇让当前触觉在块内以更高频率修正动作（切分去噪轨迹）；N₀-TWAM 声称观测通路能按传感器频率刷新，但没有切分去噪，也没给频率。N₀-TWAM 的相关工作把 T-Rex 归入“反应式”触觉。
和 N₀-VTLA：同一团队两种答案。VTLA 在 VLA 里只预测一个压缩潜变量、且训练后期撤掉预测目标；TWAM 在世界模型里完整生成未来触觉，同时保留观测通路。仿真分数几乎一样，模型规模差很多。

术语表

读这篇会遇到的词

展开术语表

WAM: World Action Model，世界动作模型：同一个生成模型里联合预测未来观测和动作。
MoT: Mixture-of-Transformers：每个模态一个专家，各有权重，共享注意力。
diffusion forcing: 每个时间组独立采噪声水平的训练方式，把 teacher forcing 推广到连续 token。
noisy / clean 副本: 同一个 token 生成时是 noisy，成为历史后是 clean；掩码对两者分别规定可见性。
predicted tactile: 触觉专家生成的未来触觉潜变量（相对首帧的残差），和未来视频一起去噪。
observed tactile: 当前触觉读数，真机上经力估计器和 NeoForce 编码，交叉注意力进动作流。
NeoForce: 同团队的力空间触觉表示模型：DINOv2 初始化的 ViT-B，输入 RGB 与三轴力图，带力图重建头。
InTac S1: 真机实验所用的视觉式触觉传感器。
tactile punctuation: 用接触开始/松开事件切分示范、在推理时推进子任务提示的机制。
tactile CFG: 利用有/无触觉两种预测之差放大触觉影响的 classifier-free guidance，本文未使用（w = 1）。
Taxim: 基于标定的 GelSight 光学仿真，UniVTAC 的 clean 触觉渲染用的这类方法。
LingBot-VA / FastWAM / GigaWorld-Policy: 纯视觉的世界动作模型基线；LingBot-VA 也是 N₀-TWAM 视频专家的来源。