每篇论文一个网页:拆开方法,按原表比例重画结果,把论文的主张和我们的判断分开写。同一专题的论文另有一页横向对照。
21 篇论文 · 3 个专题 · 最近更新 2026-10-19
ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation
π0 加力感知 MoE:6 维力/力矩在 VLM 之后融合,5 个真机接触任务平均成功率 60.5%,不接力的 π0 为 37.3%。
复旦、上交等
Tactile-VLA: Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization
触觉 token 进 VLM 前缀,动作里带目标力,交给位置-力混合控制器;主打「轻一点」「用力」这类力度词的零样本泛化。
清华、电子科大、上交
T-Rex: Tactile-Reactive Dexterous Manipulation
去噪轨迹从 τ=0.4 劈开:动作专家每块跑前 6 步,只读触觉的小专家在块内每 4 步用最新触觉跑完后 4 步;100 小时触觉中训练,12 个灵巧手任务平均 65 分,最强基线 35。
UC Berkeley、NVIDIA、Stanford 等
N0-TWAM: Scaling Tactile-Native World Action Model for Contact-Rich Manipulation
视频、触觉、动作三专家的非对称 MoT 世界动作模型:未来触觉和未来视频一起生成,当前触觉在力空间经交叉注意力读入;UniVTAC 84.5%,8 个真机任务平均 46.3%(π0.5 30.0%)。
NeoteAI、复旦 TEAI
N0-VTLA: Scaling Vision–Tactile–Language–Action Model with Latent Tactile Tokens
触觉不进 VLM 前缀,先预测接下来一个动作块的触觉变化潜变量 z,再用 z 条件动作专家;三阶段接入 π0.5,20 个仿真任务 63.8%(π0.5 44.0%),另有离线 RL 方法 ALTER。
NeoteAI、复旦 TEAI
Motus2: A Self-Evolving General World Model for Dexterous Manipulation
一套权重分别当策略、模拟器、评估器的自进化世界模型;触觉是一个旁路专家,在动作块内每 0.2 s 修正一次动作。
清华朱军组、生数 GensPI
ME-Dex 1.0: Bringing Heterogeneous Tactile Sensing into World Action Modeling
视频、触觉、动作三专家联合去噪的世界动作模型,触觉作为要预测的未来观测;夹爪和灵巧手的触觉统一到规范手。
理想汽车基础模型团队
包在机器人基础模型外面或内部的那层设计:每一步让模型看到什么、跨步记住什么、任务怎么分层交接、用什么评价信号修正。按四类收录:上下文架构、持久状态与记忆、结构化执行、评估与反馈。
设计模型每次决策时看到什么、以什么形式看到:检索、视觉选择、时序对齐等。
ActiveVLA: Injecting Active Perception into Vision-Language-Action Models for Precise 3D Robotic Manipulation
相机不动,在重建点云上挑虚拟视点再缩视场角放大:BridgeVLA 骨干的精阶段改看球面上选出的 3 个视图和 4 倍放大图;RLBench 91.8%(BridgeVLA 88.2),推理时间约翻倍。
复旦、上海创智学院、南洋理工
TIC-VLA: A Think-in-Control Vision-Language-Action Model for Robot Navigation in Dynamic Environments
把慢 VLM 的 KV cache 连同推理延迟 Δt 和期间位移 Δp 一起喂给 10 Hz 导航动作专家,训练时注入延迟;DynaNav 85 条 SR 55.29(最强语言基线 32.94),不建模延迟时 47.06 → 30.59(均无 RL)。
UCLA
RA-VLA: Retrieval-Augmented VLA for Test-Time Adaptation
GR00T N1.5 外挂示范检索:DTW 监督的检索器按动作阶段取片段,动作头每层拼一段并用 margin 损失逼它读;LIBERO 留出套件平均 0.3845(最强基线 0.2085),UR5e 0.5625(0.3542)。
POSTECH
在多步任务中持续保存任务状态、空间状态和执行历史,让当前动作不只依赖当前观测。
MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation
CogACT 式 VLA 的 VLM 与 DiT 动作头之间插一个感知-认知记忆库:每步存 256 个感知 token + 1 个认知 token,cross-attention 检索、门控融合,库满合并相邻最相似条目;真机 6 个时序任务平均 83,CogACT 57。
清华、Dexmal、旷视等
Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation
给 π0.5 外挂两块记忆,都接在 flow 的去噪起点上:检索同类示范轨迹的均值和方差代替高斯噪声,按相似度定噪声和步数;Mamba 读上一个动作块再加偏置。LIBERO 平均 98.6(π0.5 96.9),NFE 3.2 vs 10。
哈工大(深圳)、鹏城实验室、深圳河套学院、华为诺亚方舟实验室
Spatial Memory for Out-of-Vision Manipulation in Vision-Language-Action
可动头部先扫一圈,用 YOLO-World、DINOv3、VGGT 把每个物体压成带 3D 框的记忆 token,门控 EMA 刷新、交叉注意力读进 DiT;5 个视野外真机任务各阶段平均成功率 28.3%,GR00T N1.5 约 18%。
港科大(广州)、AI²Robotics、港科大
HiMe: Hierarchical Embodied Memory for Long-Horizon Vision-Language-Action Control
π0.5 执行、Qwen3-VL-8B 判子任务是否完成、GPT-4o 只在交接点增改删图文记忆的三层框架;WidowX 三个长程任务平均任务进度 90%,FIFO 式 Flat Memory 65%。
复旦、上海创智学院、华东师大
把复杂任务组织为「推理 → 意图/子任务 → 动作」的分层受控执行流程,通过明确的中间接口连接高层决策与低层控制。
ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models
结构化执行:π0.5 先用 EAR 去噪出一段 15 点、步长 2 的粗参考轨迹,再用 IAR 从 VLM 的 KV 里抽隐式先验,动作头读两者生成动作;LIBERO 98.5(π0.5 96.9),LIBERO-Plus 微调设定 88.0(75.7)。
北航、智元 AgiBot
MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation
结构化执行:冻结的通用 VLM 分饰规划、执行、监控、验证、记忆,输出带数值的中层动作交给确定性控制器,监控异步并行;LIBERO-PRO 零样本 66.7% / 扰动 53.8%,但每回合约 223 秒。
UIUC
在执行前或执行后引入显式评价信号,根据结果修正计划、更新状态或适应策略,形成闭环。
On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning
评估与反馈:VLAC 进度估计的差分做每步奖励,无价值函数的 PPO 每 8 步更新一次 LoRA,每回合重置;4 个 VLA、15 个未见任务上维度平均提升 0.8–3.8 个点。
UMKC、港科大(广州)、Meta AI 等
τ0-WM: A Unified Video-Action World Model for Robotic Manipulation
评估与反馈:同一个 Wan2.2-5B 视频主干开两个口,VAM 预测未来视频并出动作,ACVS 给候选动作想象多视角未来并打逐帧进度分;部署时先用重去噪一致性挑候选,不可靠时才调用 ACVS 选最好的未来再让 VAM 重新生成。4 个长程真机任务平均成功率 0.64(π0.5 0.44)。
智元 AGIBOT Finch、上海创智学院
RoboTTT: Context Scaling for Robot Policies
评估与反馈:GR00T N1.7 动作头每层加测试时训练(TTT)层,快权重部署时也做梯度更新,上下文扩到 8K 步;DAgger Distillation 把「失败 → 人的纠正」蒸馏进快权重。三个装配任务平均完成分 79(GR00T 42,GDN 56),预训练上下文 1K → 8K 平均分 43.9 → 71.5。
NVIDIA、Stanford、UT Austin
τ0-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation
评估与反馈:带执行记忆的高层在不确定时做子任务束搜索,世界模型想象后果、价值模型打分后再提交;分层 + 记忆让四个长程真机任务平均成功率 27.5% → 45.0%,搜索再加 2–3 次成功 / 10。
智元 Agibot Finch、上海创智学院、港中文
怎样把真实场景搬进仿真,怎样让仿真里训练或评估的策略在真机上表现一致:从一次性重建与域随机化,到部署时持续同步的数字孪生。
Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin
以 60 Hz 与真实世界同步的 Embodied Gaussians 数字孪生作为策略的唯一接口:策略只读仿真、只控仿真机器人,真机跟随;断开真机即可并行离线评估。PushT 上离线评估与真机排序一致,补仿真示范 56.7% → 80.0%,虚拟腕部相机 81.7%。
Robotics and AI Institute、QUT