Force & Tactile · 7 papers

力与触觉 · 七篇精读

七篇论文都在回答同一个问题:力和触觉怎样进入机器人基础模型。按时间排开,力/触觉在模型里的角色一路加重:从 VLA 的输入条件,到要输出的目标力,到块内高频的修正通道,再到要预测的潜变量和要生成的未来观测。最新的几篇开始把“预测未来触觉”和“读当前触觉”两件事同时做。每篇有一个单独的精读页,下面是索引和横向对照。

力/触觉在模型里的角色解读

按 arXiv 首版时间排序,窄屏下可左右滑动。归类是我们读完七篇后的归纳,不是论文自己的说法。

2025-05 · 2505.22159
VLA 路线 · 基于 π0
力是输入条件

6 维末端力/力矩在 VLM 之后融合,只影响动作生成;VLM 本身看不到力。

2025-07 · 2507.09160
VLA 路线 · 基于 π0
触觉是输入,力也是输出

触觉进 VLM 前缀;动作里带目标力,交给位置-力混合控制器执行。

2026-06 · 2606.17055
VLA 路线 · 三专家 MoT
触觉是块内高频修正

去噪轨迹在 τ=0.4 劈开,只读触觉的小专家在块内每 4 步用最新触觉跑完后半段。

2026-07 · 2607.23782
VLA 路线 · 基于 π0.5
触觉是要预测的潜变量

预测一个动作块内触觉的净变化 z,动作专家读 z;触觉不进 VLM 前缀。

2026-07 · 2607.23783
世界模型路线 · 三专家 MoT
触觉既被预测也被观测

未来触觉与未来视频一起生成;当前触觉在力空间经交叉注意力进动作流。

2026-08 · 2608.30237
世界模型路线 · 一套权重三接口
触觉是快速修正通道

旁路触觉专家在动作块内每 0.2 s 用最新触觉修正动作;未来力只在训练时预测。

2026-09 · 2609.21449
世界模型路线 · 三专家 MoT
触觉是要预测的观测

未来触觉和视频、动作一起联合去噪,推理时也生成。

七篇

每篇给出做法、主要结果和最大的疑点。数字取自各论文 arXiv 源码里的 tex 表格。

2025-05arXiv 2505.22159
复旦、上交等

ForceVLA

Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation

做法
π0 本身不改。6 维末端力/力矩投影成 1 个 token,在 VLM 之后和视觉语言 token 一起经过一层注意力和一个 4 专家 MoE(FVLMoE),结果加到动作 token 上。
结果
5 个真机接触任务平均成功率 60.5%,不接力的 π0 为 37.3%。融合位置消融里,VLM 之前用 MoE 融合是 0%,VLM 之后用 FVLMoE 是 80%。
疑点
没有单独去掉 MoE 的消融,收益分不清来自路由还是新增的注意力层。部分成功率和所述试验次数对不上,比如写的是 20 次试验,图里却有 83%。
读 ForceVLA 精读 →
2025-07arXiv 2507.09160
清华、电子科大、上交

Tactile-VLA

Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization

做法
最近 H 步触觉经 MLP 压成 1 个 token 放进 VLM 前缀。动作同时输出目标位置和目标力,由位置-力混合控制器执行。CoT 变体用触觉做语言推理,失败时写出新的纠正指令。
结果
插 USB 35%、插充电器 90%(π0-base 为 5% / 40%)。没训过的力度词也能对应出不同施力。训练中没见过的黑板上擦除,CoT 版 80%,不带 CoT 的 15%。
疑点
基线本身不输出力,所以分不清成功来自「VLM 先验里的物理语义」,还是来自「多了力通道和控制器」。多张表没写试验次数,文中至少 4 处前后不一致。
读 Tactile-VLA 精读 →
2026-06arXiv 2606.17055
UC Berkeley、NVIDIA、Stanford 等

T-Rex

Tactile-Reactive Dexterous Manipulation

做法
Qwen3-VL-2B 的三专家 MoT:latent 专家预测未来视觉潜变量,动作专家把动作从 τ=1 去噪到 0.4,0.62B 的触觉专家复用缓存的 KV,在一个 16 步动作块内于第 0/4/8/12 步各用最新触觉走完最后 4 步。触觉 = 逐指 VQ-VAE 力 token + 当前 6 维力 + 冻结 CNN 的形变图特征。人类视频预训练 → 100 小时触觉中训练 → 单任务后训练。
结果
12 个双臂灵巧手真机任务平均 65,EgoScale 35、π0.5 17、Tactile-VLA 15;6 任务上去掉触觉 65 → 42,同步版本 60。
疑点
分数是按细则给部分分的进度分;只有 T-Rex 用了 100 小时中训练数据,按同 6 个任务换算,架构本身比 EgoScale 高约 9 分。反应频率和时延没有实测。
读 T-Rex 精读 →
2026-07arXiv 2607.23782
NeoteAI、复旦 TEAI

N₀-VTLA

Scaling Vision–Tactile–Language–Action Model with Latent Tactile Tokens

做法
π0.5 上加一条通路:冻结 DINOv2 编码触觉差分图,小预测器结合视觉语言上下文输出 10 个潜在触觉 token z,拼在动作 token 前。三阶段接入:只训预测器(InfoNCE 对上未来 50 步触觉变化)→ 屏蔽前缀逼动作专家读 z → 端到端。另有离线 RL 方法 ALTER。
结果
NeoReal 9 个真机任务全胜,均值 47.2% vs π0.5 29.4%;20 个仿真任务 63.8% vs 44.0%;ALTER 后三个长时程任务 95/80/75%。
疑点
没有闭环消融:三阶段 vs free-latent、预测的 z vs 当前触觉都只用检索准确率论证。π0.5 基线是否也有 NeoData 预训练没写,触觉和额外数据的贡献分不开。
读 N₀-VTLA 精读 →
2026-07arXiv 2607.23783
NeoteAI、复旦 TEAI

N₀-TWAM

Scaling Tactile-Native World Action Model for Contact-Rich Manipulation

做法
从 LingBot-VA 改出视频(5.00B)、动作、触觉(各约 1B)三专家的非对称 MoT,每层共享一次自注意力;帧级因果掩码让块内先共同生成未来视频和未来触觉(同一个 Wan VAE 潜空间),再去噪动作。后训练加一条力空间观测通路(NeoForce + 零初始化交叉注意力);触觉接触事件切分并推进子任务。
结果
UniVTAC 84.5(最强基线 67.1),NeoSim 49.4(π0.5 45.8),8 个真机任务 46.3(π0.5 30.0)。去掉预测通路或观测通路,NeoSim 分别降到 41.1 和 29.6。
疑点
主表 4 个仿真任务用绝对位姿、其余用 delta,按 delta 重算 NeoSim 不再领先 π0.5。消融逐任务起伏极大;没有推理时延数字。和同日的 N₀-VTLA 共用基准却不互相比较。
读 N₀-TWAM 精读 →
2026-08arXiv 2608.30237
清华朱军组、生数 GensPI

Motus2

A Self-Evolving General World Model for Dexterous Manipulation

做法
一个从 Wan2.2-5B 初始化的视频-动作 DiT,靠掩码和 loss 开关分别充当策略、模拟器、评估器,组成「提议 → 想象 → 打分」的闭环。触觉是一个 30 层、宽 128 的旁路专家:主干只去噪到 σ=0.2,每个 0.2 s 子块执行前由触觉专家用最新触觉完成最后一段。
结果
主结果宏平均 84%(π0.5 为 0%)。规划和 MBRL 合用 65.0% → 75.0%。加触觉专家后,两个真机任务 60.0% → 72.5%。
疑点
实验里的「自进化」只跑了一轮。每格只有 20 次试验,1 次成功就是 5 个百分点。触觉只在 2 个任务上评测。
读 Motus2 精读 →
2026-09arXiv 2609.21449
理想汽车基础模型团队

ME-Dex 1.0

Bringing Heterogeneous Tactile Sensing into World Action Modeling

做法
视频、触觉、动作三专家 MoT,全部用 flow matching,在中间层共享注意力(H-Bridge),未来触觉和视频、动作联合去噪。Canonical Hand Model 和 Unified Tactile AE 把夹爪和灵巧手的触觉统一到同一空间;仿真里的触觉由数据引擎在轨迹回放时补录。
结果
RoboTwin 91.56 / 91.92(Clean / Random),比 Fast-WAM 高 2.34 / 2.70 个点;DexJoCo 平均 65.3,ManiFeel 70.0,都领先所比基线。
疑点
推理时把触觉置零,RoboTwin 仍有 91.70 / 91.74,几乎不变,论文自己也承认。所有实验单种子,真机只有定性展示。
读 ME-Dex 1.0 精读 →

横向对照

表格可左右滑动。细节以各篇精读页为准。

ForceVLATactile-VLAT-RexN₀-VTLAN₀-TWAMMotus2ME-Dex 1.0
骨干 π0(VLA) π0(Gemma 2.6B + 300M 动作专家;动作专家随机初始化) Qwen3-VL-2B 三专家 MoT(latent / 动作 / 触觉,触觉专家 0.62B) π0.5(PaliGemma),加潜在触觉预测器 LingBot-VA 改出的三专家 MoT,3072 / 1024 / 1024 宽,共 7.16B 视频-动作因果 DiT,Wan2.2-5B 初始化,一套权重三接口 WAM:Wan2.2-5B 结构的视频专家 + 动作专家(均从 Motus 初始化)+ 触觉专家
力/触觉信号 6 维末端力/力矩,每次只读一帧 UMI 夹爪双指尖触觉(法向 + 剪切),取最近 H 步 Sharpa Wave 灵巧手 10 指:6 轴力 16 帧历史 + 当前力 + 形变深度图 自研视觉式触觉,当前帧减回合起始帧的差分图 视觉式触觉(真机 InTac S1);预测用 Wan VAE 潜变量,观测用三轴力图 灵巧手力信号:Wuji Hand 2 为 1086 维;Sharpa Wave 为 60 维力/力矩 + 指腹形变图 多源异构触觉阵列(夹爪与灵巧手),统一到规范手
接入位置 VLM 之后、动作专家之前(FVLMoE) VLM 输入前缀(1 个 token) 触觉专家读主干 KV,只做去噪最后一段(τ 0.4 → 0) 预测器输出 z,拼在动作后缀前;不进前缀 触觉专家每层共享注意力 + 动作头前的力空间交叉注意力 旁路触觉专家读主干 KV,只做每块去噪的最后一段(σ 0.2 → 0) 独立触觉专家,中间层与视频、动作共享注意力
预测未来力/触觉 否 否(输出的是目标力) 否 训练时Stage 1 预测 50 步内触觉净变化的潜变量,之后撤掉目标 是未来触觉(残差)与未来视频一起生成,推理时也生成 训练时预测子块之后的力窗口,只作辅助目标,部署不用 是推理时也和视频、动作联合生成
触觉起作用的频率 每生成一个动作块读一次 混合控制器按力误差调整执行 块内每 4 个控制步一次(示意频率约 20 Hz,未实测) 每个 50 步动作块一次 块级预测;观测通路称按传感器频率刷新(未给数字) 块内每 0.2 s 一次(48 步动作块切成 8 个子块) 动作块之间(新观测 + 重新规划)
数据 自采 ForceVLA-Data,5 个接触任务 带触觉的 UMI 手持采集,3 类任务共 800 条 22,889 小时人类视频预训练 + 100 小时触觉遥操作中训练(207 物体 × 22 原语) NeoData 多平台视触觉数据(规模见配套报告) NeoData 超 3 万小时、6 种本体、450 任务 人类第一视角数据(单目 → 双目)预训练 → 机器人域;触觉只在后训练出现 仿真回放补录(RoboTwin、DexJoCo)+ ManiFeel + 真机
评测 真机 5 任务 + 5 种泛化设置 真机:力度指令、按物体常识调力、自适应推理 双臂灵巧手真机 12 任务,每任务 16 次,细则给部分分 NeoReal 9 任务 + UniVTAC 8 + NeoSim 12;ALTER 3 个长时程任务 UniVTAC 8 + NeoSim 12(各 100 次)+ 真机 8 任务(各 20 次) 仿生双臂双灵巧手真机,每格 20 次 RoboTwin、DexJoCo、ManiFeel 仿真 + 真机定性