| 骨干 |
π0(VLA) |
π0(Gemma 2.6B + 300M 动作专家;动作专家随机初始化) |
Qwen3-VL-2B 三专家 MoT(latent / 动作 / 触觉,触觉专家 0.62B) |
π0.5(PaliGemma),加潜在触觉预测器 |
LingBot-VA 改出的三专家 MoT,3072 / 1024 / 1024 宽,共 7.16B |
视频-动作因果 DiT,Wan2.2-5B 初始化,一套权重三接口 |
WAM:Wan2.2-5B 结构的视频专家 + 动作专家(均从 Motus 初始化)+ 触觉专家 |
| 力/触觉信号 |
6 维末端力/力矩,每次只读一帧 |
UMI 夹爪双指尖触觉(法向 + 剪切),取最近 H 步 |
Sharpa Wave 灵巧手 10 指:6 轴力 16 帧历史 + 当前力 + 形变深度图 |
自研视觉式触觉,当前帧减回合起始帧的差分图 |
视觉式触觉(真机 InTac S1);预测用 Wan VAE 潜变量,观测用三轴力图 |
灵巧手力信号:Wuji Hand 2 为 1086 维;Sharpa Wave 为 60 维力/力矩 + 指腹形变图 |
多源异构触觉阵列(夹爪与灵巧手),统一到规范手 |
| 接入位置 |
VLM 之后、动作专家之前(FVLMoE) |
VLM 输入前缀(1 个 token) |
触觉专家读主干 KV,只做去噪最后一段(τ 0.4 → 0) |
预测器输出 z,拼在动作后缀前;不进前缀 |
触觉专家每层共享注意力 + 动作头前的力空间交叉注意力 |
旁路触觉专家读主干 KV,只做每块去噪的最后一段(σ 0.2 → 0) |
独立触觉专家,中间层与视频、动作共享注意力 |
| 预测未来力/触觉 |
否 |
否(输出的是目标力) |
否 |
训练时Stage 1 预测 50 步内触觉净变化的潜变量,之后撤掉目标 |
是未来触觉(残差)与未来视频一起生成,推理时也生成 |
训练时预测子块之后的力窗口,只作辅助目标,部署不用 |
是推理时也和视频、动作联合生成 |
| 触觉起作用的频率 |
每生成一个动作块读一次 |
混合控制器按力误差调整执行 |
块内每 4 个控制步一次(示意频率约 20 Hz,未实测) |
每个 50 步动作块一次 |
块级预测;观测通路称按传感器频率刷新(未给数字) |
块内每 0.2 s 一次(48 步动作块切成 8 个子块) |
动作块之间(新观测 + 重新规划) |
| 数据 |
自采 ForceVLA-Data,5 个接触任务 |
带触觉的 UMI 手持采集,3 类任务共 800 条 |
22,889 小时人类视频预训练 + 100 小时触觉遥操作中训练(207 物体 × 22 原语) |
NeoData 多平台视触觉数据(规模见配套报告) |
NeoData 超 3 万小时、6 种本体、450 任务 |
人类第一视角数据(单目 → 双目)预训练 → 机器人域;触觉只在后训练出现 |
仿真回放补录(RoboTwin、DexJoCo)+ ManiFeel + 真机 |
| 评测 |
真机 5 任务 + 5 种泛化设置 |
真机:力度指令、按物体常识调力、自适应推理 |
双臂灵巧手真机 12 任务,每任务 16 次,细则给部分分 |
NeoReal 9 任务 + UniVTAC 8 + NeoSim 12;ALTER 3 个长时程任务 |
UniVTAC 8 + NeoSim 12(各 100 次)+ 真机 8 任务(各 20 次) |
仿生双臂双灵巧手真机,每格 20 次 |
RoboTwin、DexJoCo、ManiFeel 仿真 + 真机定性 |