问题
触觉只当条件输入，缺了什么
把触觉接进机器人策略，最常见的做法是把当前触觉编码后当条件：在 VLA 里拼进前缀 token，在 WAM 里挂到动作专家旁边（下图 a、b 的虚线 “condition”）。这样做简单，但模型从来不需要回答一个问题：接下来接触会怎么变。
论文的核心主张是：触觉和视频一样，都是对“不断演化的世界状态”的观测，所以应该和视频一起作为未来观测来预测。WAM 已经表明，让模型预测未来画面有助于动作生成；ME-Dex 把同样的逻辑推到触觉上，让模型预测未来接触的演化，动作专家再通过共享注意力读到这部分表示。
要把这件事做成，作者列了三个缺口，每个缺口对应一个组件：
解读这套论证和“WAM 为什么比 VLA 好”是同一条
核心是更密的未来监督能塑造更好的表示。要检验它，得看两件事：去掉“预测未来触觉”会掉多少分；推理时触觉输入到底被用了多少。结果部分会看到，在 RoboTwin 上这两个答案都偏小。另外，朴素地把触觉当条件并不是白给的：π0.5+Tac 在 RoboTwin Random 上比 π0.5 低 3.08 点，在 DexJoCo 平均低 6.5 点（36.7 → 30.2）。
方法 · 全局
一张图看全局
形式化（论文 §3.2）。在时刻 t，模型拿到任务指令 ℓ、当前图像 It（作为视频首帧）、本体状态 st 和当前触觉 Tt，编码后组成条件：
要生成的是同一物理时间窗里的三样东西：动作块 A+ = (at, …, at+k−1)、未来视频潜变量 Zvis,+、未来触觉潜变量 Ztac,+。模型学的是它们的联合分布，策略是这个联合分布对动作的边缘：
实现上不做积分：三样东西一起采样，只保留动作。未来视频和未来触觉的真值只在训练时作为目标出现，推理时拿不到。
让动作真正“依赖”未来观测的是式 (5)：在 H-Bridge 层 j ∈ 𝓑，动作侧的更新同时读取视频和触觉的隐状态。
方法 · 统一触觉表示
先对齐到一只“规范手”，再压成区域 token
触觉输入长什么样
每个传感面 r 给出一个力场 Ft(r) ∈ ℝ3×H×W：一个法向分量加两个切向分量，定义在 H×W 网格上。布局掩码标出哪些网格点是有效传感位置（包括当下没有接触的位置）。预处理依次是平滑死区、逐通道 asinh 压缩、归一化、裁剪，最后法向落在 [0, 1]，切向落在 [−1, 1]。页首的动画就是这种数据的样子。
Canonical Hand Model
以人手为模板，为左右手各定义手指区和手掌区，把夹爪和灵巧手看成这个模板的“形态变体”。区域分配只提供共同的空间参照，不要求各末端执行器的表面几何一致。
- 灵巧手：每个传感面分到它所在的手指或手掌区。
- RoboTwin 夹爪：两个传感面分别映射到拇指区和食指区，每个面再切成 4 个互不重叠、有顺序的 patch。
- 不同来源只覆盖模板的不同子集。区域掩码把“这个本体根本没有这块传感器”和“有传感器但此刻没接触”区分开，论文特意强调要保住这个区别。
动手看：两种本体落到同一只规范手上
Unified Tactile Autoencoder
区域分配解决了空间对应，但各来源的力场在分辨率、表面几何、覆盖范围上仍然不同。要让一个触觉预测器通吃，需要一个紧凑、空间组织一致、又保留局部力模式和接触变化的潜空间。这就是 AE 的任务，它在触觉这一路扮演视频 VAE 的角色。
编码器 · 确定性，传感面间共享参数，逐帧
- 残差卷积网络提取局部力特征 Surface CNN
- 窗口 + 移位窗口注意力，在每个传感面内部 Surface Swin Attention
- 带掩码的可学习池化，只在有效传感位置上汇聚。夹爪面在 4 个 patch 内分别池化，灵巧手面整面池化 Region Learned Pooling
- token 放进规范槽位，加上区域嵌入和池化类型嵌入；2 层带掩码 Transformer 在同一帧的有效区域之间交换信息。未观测区域保持掩码、输出为 0 Masked Region Attention
解码器 · 从区域 token 还原力场
- 收集属于每个传感面的 token，用局部网格位置作 query 做 cross-attention
- 残差 MLP + 卷积细化，恢复传感面特征
- 力头预测法向和切向分量，接触头预测接触概率
- 重建力场 = 力预测 × 接触概率 × 有效位置掩码（后两者沿力通道广播）
AE 在多源触觉上单独预训练，之后冻结，给联合模型提供三样东西：当前触觉条件、未来触觉目标、把预测潜变量还原成力场的解码器。冻结是为了防止在各基准上训练策略时触觉表示漂移。
重建效果（原文 Table 5）。在 RoboTwin、DexJoCo、ManiFeel 的触觉上联合训练，每个来源按 8:2 切分训练 / 测试轨迹。
| 平台 | 接触 F1 ↑ | 接触力 MAE ↓ | 变化 F1 ↑ | 变化量 MAE ↓ |
|---|---|---|---|---|
| RoboTwin | 96.56 | 0.01797 | 89.73 | 0.01849 |
| DexJoCo | 90.05 | 0.02807 | 68.73 | 0.04293 |
| ManiFeel | 99.69 | 0.05478 | 66.96 | 0.06899 |
前两列在均匀采样的时间窗上算：接触检测 F1、接触节点处的力 MAE。后两列在“高变化”时间窗上算：接触开始 / 松开位置的转变 F1、相邻帧力差的 MAE。MAE 在各来源自己的归一化空间里算，不能跨平台比较。
解读重建里最难的正好是接触转变
接触检测在三个平台都在 90% 以上，但转变 F1 在 DexJoCo 只有 68.73、ManiFeel 66.96，明显低于 RoboTwin 的 89.73。接触的开始和松开是接触任务里最关键的瞬间，也是这个表示最弱的地方。这张表衡量的是 AE 能否复现这些信号，不衡量信号本身是否接近真实触觉。
方法 · World Action Tactile Model
三个专家，只在中间层交换信息
三个专家各是一个独立的 Transformer，都用 flow matching 训练。深度相同（都是 30 层），宽度不同。相同的深度让它们可以在对应层上交互，各自的宽度和表示保持独立。
| 视频专家 | 动作专家 | 触觉专家 | |
|---|---|---|---|
| 结构 | 沿用 Wan2.2-5B | Transformer | 潜空间里的 DiT |
| 层数 / 宽度 | 30 / 3072 | 30 / 1024 | 30 / 512 |
| 初始化 | Motus 权重（在多样机器人数据上预训练） | Motus 权重 | 随机初始化 |
| 干净条件 | 编码后的首帧 | 本体状态 st | 编码后的当前触觉帧 |
| 生成目标 | 未来视频潜变量 | 动作块（k 步） | 未来触觉潜变量 ∈ ℝT×N×d |
| 其他 | 对 T5 指令做 cross-attention（图 2） | 输出是唯一用于控制的量 | 冻结 AE 逐帧编码得到目标 |
点开架构：每一格是什么，哪些层能互相看见
注意力可见性
行 = query，列 = key。V₀ 首帧、V⁺ 未来视频、s 本体状态、A⁺ 动作块、T₀ 当前触觉、T⁺ 未来触觉。论文只说在 H-Bridge 层“对视频、触觉、动作 token 做联合注意力”，没有写更细的掩码（例如时间因果）。这里只画模态之间是否可见，模态内部画成全可见。解读
H-Bridge 共享注意力。借鉴 H-Bridge（CVPR 2026）：跨模态交互只放在中间一组层 𝓑。在这些层里，各专家把特征投影到兼容的注意力维度，在视频、触觉、动作全部 token 上做联合自注意力，再映射回各自的宽度；浅层和深层各算各的。论文给的理由有三条：信息交换集中在网络中段；输入端和输出端保留模态专属的处理；需要跨模态注意力的层更少。
表 1 里的 VA、Tac Cond.、Full Joint 三个变体用的是“每一层都联合注意力”；只在中间层联合之后（完整模型），Clean +2.20、Random +1.32。这是整个消融链里 Clean 上最大的一步。
未披露论文没给的架构细节
𝓑 具体是哪几层（图 2 只标了 ×N / ×L / ×N；按每个专家 30 层推算应有 2N + L = 30 解读）；动作块长度 k；未来触觉帧数 T；区域 token 数 N 和宽度 d；注意力有没有时间因果掩码；去噪步数；推理延迟和控制频率；训练算力。
方法 · 联合训练与推理
一套 flow matching，三个噪声水平
训练。三个干净目标分别是 Zvis,+、Ztac,+、A+。每个模态独立采样噪声水平 σm ∈ [0, 1] 和高斯噪声；首帧、本体状态、当前触觉帧始终保持干净，作为条件。专家在 H-Bridge 层交换特征，同时预测各自的速度。视频和动作用 MSE；触觉用加权平方误差，强调真值触觉潜变量里发生变化的部分。
推理。未来视频潜变量、未来触觉潜变量、动作三路都从高斯噪声出发，在固定的观测条件 Ct 下，用预测的速度一起从噪声水平 1 走到 0；每一步 H-Bridge 都在交换三路正在演化的表示。最后取出动作块去执行。视频和触觉潜变量可以用冻结的解码器还原成画面和力场，但不参与控制。
噪声水平怎么在三路之间安排
解读独立噪声水平的意义
训练时每个模态独立采样 σ，和 UWM（论文引用 [8]）这类统一视频-动作扩散模型同类：同一个网络见过各种“谁干净、谁嘈杂”的组合。理论上这能支持“给定动作预测未来触觉”之类的条件查询，但 ME-Dex 只用了三路同步去噪这一种推理方式，其他查询没有评测。
方法 · 数据
Agentic Tactile Data Engine
用途是在仿真中回放和生成动作，给原本没有触觉的数据集补上触觉。论文对它的描述只有一段，流程如下：
疑点“Agentic” 指什么没有说清
没有说明 agent 具体负责什么（生成轨迹？筛选？调度？）、新轨迹怎样生成、失败轨迹怎样处理、生成了多少条；也没有说明仿真里力传感器的模型，以及切向力是怎样得到的。
实验设置
在哪里测，跟谁比
RoboTwin 双臂夹爪 · 仿真
- 触觉
- 数据引擎在仿真回放中补录（夹爪两个传感面）
- 训练
- 50 任务多任务，27,500 条 Clean + Random 轨迹；另设只用 2,500 条 Clean 轨迹的泛化实验
- 评测
- Clean 与 Random（域随机化）两种配置；评测次数未写
- 基线
- π0.5、Fast-WAM、Motus，以及 π0.5+Tac、Fast-WAM+Tac；Clean-only 实验的基线取自 RoboTwin 排行榜
DexJoCo 灵巧手 · 仿真
- 触觉
- 同样由数据引擎在仿真中补录
- 训练
- 官方多任务设置，1,100 条示范，6 个单臂 + 5 个双臂任务
- 评测
- rand-obj 配置；评测次数未写
- 基线
- DP-T（引自 DexJoCo 论文）、π0.5（按官方配置自训）、π0.5+Tac、DECO（官方榜单数字）、DECO.p（DECO 官方的力-触觉方案，用其发布的 checkpoint，在作者补录触觉的 DexJoCo 数据上）
ManiFeel 夹爪 · 仿真
- 触觉
- 基准自带三维触觉力观测
- 训练
- 4 个插接 / 装配任务，每任务 50 条示范，每任务单独训练一个策略
- 评测
- 每任务 50 个评测回合
- 基线
- ManiFeel 官方策略：Diffusion Policy，以视觉和三维触觉力场为条件
真机 两套平台
- 平台
- 单臂 LeRobot SO-101，夹爪内集成 Paxini PX6AX 触觉传感器；双臂 XR5-10-FS 机械臂 + Xynova Flex2 灵巧手
- 任务
- 插头换插座（SO-101）；叠罐子（Flex2）
- 评测
- 只做定性评估，没有成功率；真机训练数据量未写
共同设定。本文训练的策略每个实验只用一个训练种子。主指标是闭环任务成功率，按各基准官方判据。统一触觉 AE 在多源触觉上单独预训练，训练策略时冻结。
基线里的 “+Tac” 怎么加。都用同一个预训练的统一触觉 AE 编码触觉。π0.5+Tac：触觉 token 和图像、语言 token 拼成前缀，条件化动作专家。Fast-WAM+Tac 和 ME-Dex (Tac Cond.)：触觉 token 拼到 T5 语言 token 后面。其余结构和训练设置与对应基线一致。
结果
三个仿真基准，外加真机定性
RoboTwin · Clean + Random 混合训练
50 任务平均成功率（%）
原文 Table 1。点的位置表示数值，横轴从 50 开始。悬停看具体数字。
完整模型 91.56 / 91.92，比 Fast-WAM 高 2.34 / 2.70 点，比 Fast-WAM+Tac 高 1.34 / 1.70 点。外部基线加触觉的效果不一致：Random 下 Fast-WAM 加触觉 +1.00，π0.5 加触觉 −3.08。
消融：增益一步步从哪来
| ME-Dex 变体（原文 Table 1） | Clean | Δ Clean | Random | Δ Random |
|---|
色条长度 = 相对上一行的变化量，满格约 3 个百分点，竖线是 0。所有数字都来自单种子。
只用 Clean 训练，泛化到 Random
2,500 条 Clean 示范训练后的成功率（%）
原文 Table 2。ME-Dex 两种评测下触觉都置零；基线数字取自 RoboTwin 排行榜，不是同条件复现。
ME-Dex 89.6 / 68.1，平均 78.9，比列出的最强基线 OLA-Sem 高 7.6 点；Clean 比最强的 4D-WAM 高 8.1 点；Random 和 GigaBrain-0.7 的 67.9 接近。Fast-WAM 在 Random 上只有 1.9，说明这个设定考的主要是对视觉域变化的泛化。
DexJoCo · 灵巧手 11 任务
rand-obj 配置下的成功率（%）
原文 Table 3。颜色越深数值越高，黑框是每行最高。/B 为双臂任务。DP-T、π0.5、DECO 不用触觉；π0.5+Tac、DECO.p、ME-Dex 用触觉。
ME-Dex 平均 65.3，高于 DECO.p 57.8 和 DECO 56.4，在 7 个任务上第一。双臂平均 48.8，DECO 和 DECO.p 都是 39.6；Assembly（28.0，其余方法 ≤ 6.0）和 Microwave（88.0）领先明显。优势并不均匀：Click Mouse、Water Plant 输给 DECO，Fold Glasses 输给 DECO.p，Photograph 只有 48.0，而 DECO 是 76.0。
ManiFeel · 插接与装配
单任务训练，每任务 50 回合（%）
原文 Table 4。
平均 70.0 对 55.0，+15.0 点。最大提升在 Power Plug Insertion（58 → 88），Peg 和 USB 各 +18；Gear Assembly 反而从 66 降到 60。
定性结果
读懂它
这些数字真正说明了什么
1. 触觉主要在训练时起作用，不在推理时
RoboTwin 上把当前触觉输入置零：91.70 / 91.74，完整模型是 91.56 / 91.92。论文自己的措辞是“对当前触觉输入的敏感度有限”。Clean-only 实验更是全程触觉置零评测。
所以要问的不是“触觉反馈有没有用”，而是“把未来触觉当预测目标，能不能让表示更好”。
2. “预测未来触觉”这一步本身只贡献约 0.3–1 点
Full Joint 对比 Tac Cond.：Clean +0.32，Random +1.06。Clean 上最大的一步来自 H-Bridge（+2.20），Random 上最大的一步来自加当前触觉条件（+2.64）。
单种子，评测次数未写；差距在这个量级时，结论需要多种子确认。
3. 绝对水平主要来自 WAM 骨干
完全不用触觉的 ME-Dex (VA) 已有 88.74 / 86.90，和 Motus 88.66 / 87.02、Fast-WAM 89.22 在同一档；π0.5 只有 52.76 / 60.74。视频和动作专家都从 Motus 预训练权重初始化。
VA 之上的全部改动（触觉条件、触觉预测、H-Bridge）合计 +2.82 / +5.02 点。
4. 朴素地把触觉当条件，可能反而有害
π0.5+Tac 在 RoboTwin Random 上 −3.08，在 DexJoCo 平均从 36.7 降到 30.2（Hammer Nail 40 → 10、Pick Bucket 82 → 46）。Fast-WAM 加触觉则 +1.00。
同一个 AE 编码的触觉，接在不同骨干上效果相反。这是本文“别只当条件”论点里最直接的反面证据。
容易误解的地方
- “真机评测证明性能提升”。摘要写“together with real robot evaluations, demonstrate improved manipulation performance”，但正文的真机部分是定性评估，只有图 7 的 rollout，没有成功率，也没有和任何基线对比。
- “触觉让 ME-Dex 在 DexJoCo 和 ManiFeel 上领先”。这两个基准上没有 ME-Dex 不用触觉的变体，领先可能来自 5B 级 WAM 骨干和 Motus 预训练，无法归因到触觉。ManiFeel 的基线是一个 Diffusion Policy，两者规模差距很大。
- “Clean-only 实验超过排行榜第一”。基线数字来自 RoboTwin 排行榜，训练协议未必一致；而且 ME-Dex 用了 Motus 预训练。
- “表 5 证明仿真触觉可信”。表 5 只是 AE 的重建精度，衡量的是 AE 能否复现仿真信号，不是仿真信号像不像真实传感器。
- “推理时只输出动作”。推理时三路一起去噪，每个动作块都要把未来视频也生成一遍（视频专家是 Wan2.2-5B 结构）；只是最后只拿动作去执行。
FAQ
预测未来触觉到底带来了什么？
论文唯一直接的证据是 RoboTwin 表 1 的 Full Joint 对 Tac Cond.：Clean +0.32、Random +1.06（单种子）。在此基础上换成 H-Bridge 再加 +2.20 / +1.32，但这一步改的是注意力结构，不是触觉。
DexJoCo 和 ManiFeel 上没有“去掉触觉预测”的消融。论文也没有报告未来触觉预测本身准不准：表 5 是 AE 的重建，不是模型对未来的预测。
解读论文的机制解释是“未来触觉监督塑造了与动作专家交换的表示”（式 5），这是合理的假设，但文中没有表示层面的分析来支撑。
仿真里回放记录的力信号可信吗？
论文只说触觉是“在仿真回放时由力传感器直接记录”，没有给传感器模型、噪声设置，也没有和真实传感器做对比。表 5 衡量的是 AE 能否重建这些信号，不衡量信号本身是否真实。
RoboTwin 和 DexJoCo 的全部触觉数据都来自这个途径，而真机只有定性展示。所以“仿真触觉学到的东西能不能迁移到真实触觉”，目前没有证据。
推理时把触觉置零都不掉点，那触觉还有用吗？
在 RoboTwin 上，当前触觉输入的作用可以忽略，论文自己也承认。若说触觉有用，作用在训练阶段：把未来触觉当预测目标。置零变体仍然保留训练时的触觉监督，推理时也仍在预测未来触觉。
解读RoboTwin 以夹爪抓放为主，接触状态多半能从画面推断出来。要检验触觉反馈的价值，需要真正依赖触觉的测试，比如遮挡、透明或易滑物体、有力度要求的指令，论文没有做。论文在局限里也写了：目前触觉只通过动作块之间的观测更新和重规划起作用。
为什么要 Canonical Hand，而不是每种传感器一个编码器？
为了让一个 AE 和一个触觉专家通吃所有来源，各来源的 token 要有一致的空间含义和顺序。模板让“食指上的压力”在夹爪和灵巧手上落到同一个槽位；区域掩码区分“没有这块传感器”和“有但没接触”。
解读论文里只有 AE 是跨来源共享训练的，策略在每个基准上各自训练。所以“跨本体共享触觉表示能带来迁移”这一点还没有实验检验，比如在 RoboTwin 触觉上预训练对 DexJoCo 有没有帮助。
推理成本多大？
论文没有报告延迟、去噪步数或控制频率。
解读每个动作块都要把 Wan2.2-5B 结构的视频专家连同另外两路一起去噪，代价不低。论文引用的 Fast-WAM 研究的正是“推理时不生成视频还行不行”；ME-Dex 没有测试省掉视频的推理变体。
局限与疑点
作者承认的，和我们读出来的
论文第 5 节自述
- 统一触觉编码器的预训练受限于数据规模和传感器多样性。计划扩展到更多传感布局和接触模式，并系统评估对未见配置的泛化。
- 目前策略主要通过观测更新和动作块之间的重规划来使用触觉反馈。计划探索触觉驱动的局部高频反馈控制，在执行中调整联合预测出的动作。
解读我们的疑点
- 仿真触觉的真实度：RoboTwin / DexJoCo 的触觉全部来自仿真回放，没有与真实传感器的对比，也没有 sim-to-real 实验。
- 真机规模：只有两个定性任务，没有成功率、试验次数和训练数据量。
- 统计强度：单种子；RoboTwin 和 DexJoCo 的评测次数未写；RoboTwin 上的关键差距只有 0.3–2.7 点。
- 基线公平性：表 1 里自训的 π0.5 在 Clean 上只有 52.76，而表 2 排行榜上只用 Clean 数据训练的 π0.5 是 70.7，自训基线可能欠调；表 2 与排行榜的训练协议未必一致；DECO 数字来自官方发布；ManiFeel 对比的是规模小得多的 Diffusion Policy。
- 归因缺口：DexJoCo 和 ManiFeel 没有去掉触觉的消融；也没有“有 Motus 预训练、没触觉”的对照。
- 一个小异常：Fast-WAM 与 Fast-WAM+Tac 的 Clean、Random 数字完全相同（89.22 / 89.22、90.22 / 90.22），论文没有解释。
- 细节缺失：k、T、N、d、H-Bridge 层位置、λ 系数、去噪步数、算力、推理延迟都没给；数据引擎只有一段描述。
- 未评测未来触觉预测的质量：模型声称在预测未来接触，但没有任何指标衡量这些预测对不对。
放到七篇里看
力 / 触觉进入机器人基础模型的几种位置
力与触觉专题现在收了七篇。按时间排开，力 / 触觉在模型里的位置一路后移：从动作解码前的条件，到输出力目标再交给力控，到块内高频修正动作，再到被当作要预测的对象。窄屏下时间线可左右滑动。
- 2025-05 · 2505.22159ForceVLA6 轴力 / 力矩当一等模态，force-aware MoE 在动作解码阶段融合。
- 2025-07 · 2507.09160Tactile-VLA触觉 token 进 VLA 前缀，混合位置-力控制器执行学到的力目标。
- 2026-06 · 2606.17055T-Rex双臂灵巧手；去噪最后一段交给只读触觉的专家，块内每 4 步用新触觉重跑。
- 2026-07 · 2607.23782N₀-VTLAπ0.5 上预测一个动作块内的触觉变化潜变量 z，动作专家读 z。
- 2026-07 · 2607.23783N₀-TWAM三专家世界动作模型：未来触觉与视频共同生成，当前触觉在力空间读入。
- 2026-08 · 2608.30237Motus2世界模型 + 轻量触觉专家：块内高频精修动作，训练时预测未来力。
- 2026-09 · 2609.21449ME-Dex 1.0触觉与视频并列为未来观测，三专家联合生成；跨本体统一表示。
| ForceVLA | Tactile-VLA | T-Rex | N₀-VTLA | N₀-TWAM | ME-Dex 1.0 | Motus2 | |
|---|---|---|---|---|---|---|---|
| 骨干 | π0 类 VLA | VLA，共享部分用 π0 参数初始化 | Qwen3-VL-2B 三专家 MoT（latent / 动作 / 触觉） | π0.5 + 潜在触觉预测器 | WAM：从 LingBot-VA 改造，视频 5.00B + 动作 1.13B + 触觉 1.03B | WAM：Wan2.2-5B 视频专家 + 动作专家（Motus 初始化）+ 触觉专家 | 通用世界模型，共享权重给出 policy / simulator / evaluator 三个接口 |
| 力 / 触觉的形态 | 6 轴力 / 力矩向量 | UMI 夹爪上的双高分辨率触觉传感器（法向 + 剪切） | Sharpa Wave 灵巧手 10 指：6 轴力历史 + 当前力 + 形变深度图 | 自研视觉式触觉，当前帧减回合起始帧的差分图 | 视觉式触觉图像（与视频共用 Wan VAE）；观测时转成三轴力图 | 多源分布式触觉阵列，每面 3×H×W 力场；夹爪 + 灵巧手 | 灵巧手力信号（90 Hz），Sharpa Wave 另有形变图像 |
| 进入模型的方式 | 力投影成 token，与视觉-语言嵌入经稀疏 MoE 融合，指导 flow 动作专家 | MLP 把触觉历史编码成一个 token，放进 Transformer 输入前缀 | 独立触觉专家读主干 KV 缓存，只做去噪最后一段（τ 0.4 → 0） | 预测器输出 z，拼在动作 token 前；不进 VLM 前缀 | 触觉专家每层共享注意力；当前触觉经 NeoForce 编码、零初始化交叉注意力进动作流 | 当前触觉作干净条件，未来触觉作生成目标；H-Bridge 中层共享注意力 | 轻量触觉专家读取主干缓存的中间动作块和 KV，用最新触觉窗口精修 |
| 预测未来力 / 触觉 | 否 | 输出的是力目标，交给控制器 | 否 | 训练 Stage 1 预测未来 50 步触觉净变化的潜变量，之后撤掉目标 | 是，残差形式，推理时也生成 | 是，推理时也联合生成 | 是，但只作训练期辅助目标 |
| 触觉影响执行的频率 | 每次生成动作时作为条件 | 混合位置-力控制器按力误差 ΔF 调整执行 | 块内每 4 个控制步一次 | 每个 50 步动作块一次 | 块级预测；观测通路称按传感器频率刷新（未给数字） | 动作块之间（观测更新 + 重规划） | 块内每 0.2 s 一次 |
| 数据来源 | 自采 ForceVLA-Data：5 个接触密集任务，视觉、本体、力 / 力矩同步 | 基于 UMI 的手持采集，触觉 100 Hz、视觉 20 Hz，下采样对齐 | 22,889 小时人类视频预训练 + 100 小时带触觉遥操作中训练 | NeoData 多平台视触觉数据 | NeoData 超 3 万小时、6 种本体、450 任务 | 仿真回放补录（RoboTwin / DexJoCo）+ ManiFeel 原生触觉 + 真机；Canonical Hand 统一夹爪与灵巧手 | 第一视角人类数据（单目 → 双目）→ 机器人域；触觉专家用目标任务后训练数据，两种灵巧手共用一个结构 |
ME-Dex 和 N₀-TWAM：专题里结构最接近的两篇
两篇几乎是同一个设计的两个版本：Wan2.2-5B 系的全宽视频专家（宽 3072）、宽 1024 的动作专家、再加一个触觉专家，三者都用 flow matching，未来触觉和未来视频一起生成。差别集中在下表几处。
| ME-Dex 1.0 | N₀-TWAM | |
|---|---|---|
| 视频 / 动作专家初始化 | Motus | LingBot-VA（非 MoT 的共享主干，拆成专家） |
| 触觉专家 | 30 层，宽 512，随机初始化 | 30 层，宽 1024，从头训练 |
| 专家怎么交互 | 只在中间若干层（H-Bridge）做联合注意力 | 每一层共享一次自注意力，帧级因果掩码让动作读本块预测出的视频和触觉 |
| 触觉表示 | Canonical Hand Model + Unified Tactile AE，统一夹爪与灵巧手的异构阵列 | 视觉式触觉图像直接用视频的 Wan VAE 编码；预测残差 xi − x0 |
| 当前触觉 | 作为干净的首帧条件 | 首帧条件之外，另有一条力空间观测通路（冻结力估计器 → NeoForce → 交叉注意力），只在后训练打开 |
| 数据 | 仿真回放补录 + ManiFeel + 真机 | NeoData 真机数据，超 3 万小时 |
解读“当前触觉有没有用”，两篇给出了相反的证据
ME-Dex 在 RoboTwin 上推理时把当前触觉置零，成功率 91.70 / 91.74，和完整模型的 91.56 / 91.92 几乎一样。N₀-TWAM 去掉观测通路重新后训练，NeoSim 从 49.4 掉到 29.6，UniVTAC 从 84.5 掉到 70.5。两者不能直接比：一个是推理时置零，一个是训练时就没有这条支路；基准也不同。但它提示了一种解释：只把当前触觉当作生成的首帧条件时，模型很少用到它；给它一条专门接到动作头的通路，它才会被用上。
和 T-Rex：下一节说的“块内快速修正通道”最早来自 T-Rex：主干把动作去噪到 τ = 0.4，只读触觉的专家在一个 16 步动作块里用最新触觉重跑 4 次，Motus2 的附录明确写了参照 T-Rex。T-Rex 在 6 个任务上去掉触觉从 65 掉到 42，是专题里触觉增益最大的数字之一；它和 ME-Dex 还都观察到，把触觉直接拼进 π0.5 会掉分（T-Rex 里平均 17 → 6）。
和 N₀-VTLA：它也把触觉当作要预测的量，但走得更轻：不在世界模型里生成未来触觉，只让一个小预测器输出一个动作块内触觉净变化的潜变量，而且这个预测目标只在训练第一阶段施加。
ME-Dex 和 Motus2：同一条世界模型路线，触觉放在两个不同的位置
两者渊源很近：ME-Dex 的视频和动作专家从 Motus（第一代）的权重初始化，Motus2 是同一清华团队的下一代，ME-Dex 的相关工作一节也专门提到了 Motus2。但两者给触觉的角色几乎相反：
ME-Dex 1.0 · 触觉是“重”的观测模态
30 层、宽 512 的完整触觉专家，未来触觉以 N 个空间区域 token × T 帧的形式和视频一起联合去噪，推理时也生成。触觉只在动作块之间通过新观测起作用，高频反馈留作未来工作。
证据：仿真上 VA → 完整模型 +2.8 / +5.0 点（含 H-Bridge）；真机无数字。
Motus2 · 触觉是“轻”的快速修正通道
30 层、宽 128 的轻量触觉专家。主干把 48 步动作块只去噪到 σc = 0.2，然后切成 8 个 6 步子块（30 Hz 下各 0.2 s），每个子块执行前用最新触觉窗口完成 σc → 0。未来力预测只在训练时用；精修动作的 token 看不到加噪的未来力 token。
证据：真机两任务（各 20 次）60.0% → 72.5%。
触觉在一个动作块里被读几次
示意，横轴不按真实时间比例。ME-Dex 的块长和控制频率论文未给出；Motus2 的数字来自其附录 E。
解读两条路线可以互补
ME-Dex 的局限一节写的“触觉驱动的局部高频反馈控制”，正是 Motus2（以及它参照的 T-Rex）已经实现的做法；反过来，Motus2 局限一节说触觉手套数据难以跨本体迁移，而跨本体统一表示正是 ME-Dex 的 Canonical Hand + 统一 AE 想解决的。ME-Dex 在 RoboTwin 上“推理时置零触觉不掉点”的结果也说明：只在块间读触觉，反馈价值很难体现；要让触觉在执行中起作用，块内的快速修正通道可能是必要的。
术语表
术语与缩写
展开术语表（16 条）
- WAM
- World Action Model，世界动作模型：联合预测未来视频和动作，把视频模型学到的动力学带进动作生成。
- World Action Tactile Model
- 本文的叫法：在 WAM 上再联合预测未来触觉。
- MoT
- Mixture-of-Transformers：每个模态一套独立 Transformer 参数，在部分层上通过注意力交互。不同于按 token 路由的 MoE。
- H-Bridge
- 只在中间一组层做跨模态联合注意力、浅层和深层保持独立的结构，来自 H-Bridge（CVPR 2026）。
- Flow matching
- 本文用线性插值 xσ = (1−σ)x0 + σε，回归速度 u = ε − x0；推理时从 σ = 1 积分到 0。
- Canonical Hand Model
- 以人手为模板的“规范手”，左右手各有手指区和手掌区；各种夹爪、灵巧手的传感面都映射到这里。
- 区域 token
- 统一触觉 AE 的输出单位：每个规范槽位一个 token，共 N 个，宽度 d。
- 布局掩码 / 区域掩码
- 前者标出传感面上哪些网格点有效；后者标出规范手上哪些区域在这个本体上存在。
- 死区 / asinh 压缩
- 预处理：小于阈值的读数平滑压到零；asinh 压缩大力值的动态范围。
- Clean / Random
- RoboTwin 的两种环境配置：无域随机化，和开启场景、杂物、光照等域随机化。
- rand-obj
- DexJoCo 的一种评测配置，从名字看是物体随机化，论文没有解释。
- +Tac
- 本文给基线加的触觉条件版本，用同一个统一触觉 AE 编码触觉。
- DECO / DECO.p
- 解耦多模态扩散 Transformer；DECO.p 是加了即插即用触觉适配器的版本。
- Fast-WAM
- 研究“推理时不生成未来视频”的 WAM。
- Motus
- 清华团队的统一潜动作世界模型（MoT 结构），ME-Dex 的视频和动作专家从它初始化。
- Paxini PX6AX / Xynova Flex2
- 真机用的夹爪触觉传感器 / 带触觉的灵巧手。