Visualized Academic Papers

论文精读

每篇论文一个网页:拆开方法,按原表比例重画结果,把论文的主张和我们的判断分开写。同一专题的论文另有一页横向对照。

21 篇论文 · 3 个专题 · 最近更新 2026-10-19

生成模型 / 机器人 / 力与触觉

力与触觉7 篇

力和触觉怎样进入机器人基础模型:从 VLA 的输入条件,到世界模型里的快速修正通道和要预测的未来观测。

专题对照 →
机器人 / 基础模型 / Harness

Harness for Robotics13 篇

包在机器人基础模型外面或内部的那层设计:每一步让模型看到什么、跨步记住什么、任务怎么分层交接、用什么评价信号修正。按四类收录:上下文架构、持久状态与记忆、结构化执行、评估与反馈。

专题对照 →

(1)Context Architecture3 篇

设计模型每次决策时看到什么、以什么形式看到:检索、视觉选择、时序对齐等。

  • ActiveVLA

    ActiveVLA: Injecting Active Perception into Vision-Language-Action Models for Precise 3D Robotic Manipulation

    相机不动,在重建点云上挑虚拟视点再缩视场角放大:BridgeVLA 骨干的精阶段改看球面上选出的 3 个视图和 4 倍放大图;RLBench 91.8%(BridgeVLA 88.2),推理时间约翻倍。

    复旦、上海创智学院、南洋理工

  • TIC-VLA

    TIC-VLA: A Think-in-Control Vision-Language-Action Model for Robot Navigation in Dynamic Environments

    把慢 VLM 的 KV cache 连同推理延迟 Δt 和期间位移 Δp 一起喂给 10 Hz 导航动作专家,训练时注入延迟;DynaNav 85 条 SR 55.29(最强语言基线 32.94),不建模延迟时 47.06 → 30.59(均无 RL)。

    UCLA

  • RA-VLA

    RA-VLA: Retrieval-Augmented VLA for Test-Time Adaptation

    GR00T N1.5 外挂示范检索:DTW 监督的检索器按动作阶段取片段,动作头每层拼一段并用 margin 损失逼它读;LIBERO 留出套件平均 0.3845(最强基线 0.2085),UR5e 0.5625(0.3542)。

    POSTECH

(2)Persistent State / Memory4 篇

在多步任务中持续保存任务状态、空间状态和执行历史,让当前动作不只依赖当前观测。

  • MemoryVLA

    MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation

    CogACT 式 VLA 的 VLM 与 DiT 动作头之间插一个感知-认知记忆库:每步存 256 个感知 token + 1 个认知 token,cross-attention 检索、门控融合,库满合并相邻最相似条目;真机 6 个时序任务平均 83,CogACT 57。

    清华、Dexmal、旷视等

  • OptimusVLA

    Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation

    给 π0.5 外挂两块记忆,都接在 flow 的去噪起点上:检索同类示范轨迹的均值和方差代替高斯噪声,按相似度定噪声和步数;Mamba 读上一个动作块再加偏置。LIBERO 平均 98.6(π0.5 96.9),NFE 3.2 vs 10。

    哈工大(深圳)、鹏城实验室、深圳河套学院、华为诺亚方舟实验室

  • SOMA

    Spatial Memory for Out-of-Vision Manipulation in Vision-Language-Action

    可动头部先扫一圈,用 YOLO-World、DINOv3、VGGT 把每个物体压成带 3D 框的记忆 token,门控 EMA 刷新、交叉注意力读进 DiT;5 个视野外真机任务各阶段平均成功率 28.3%,GR00T N1.5 约 18%。

    港科大(广州)、AI²Robotics、港科大

  • HiMe

    HiMe: Hierarchical Embodied Memory for Long-Horizon Vision-Language-Action Control

    π0.5 执行、Qwen3-VL-8B 判子任务是否完成、GPT-4o 只在交接点增改删图文记忆的三层框架;WidowX 三个长程任务平均任务进度 90%,FIFO 式 Flat Memory 65%。

    复旦、上海创智学院、华东师大

(3)结构化执行 Structured Execution2 篇

把复杂任务组织为「推理 → 意图/子任务 → 动作」的分层受控执行流程,通过明确的中间接口连接高层决策与低层控制。

  • ACoT-VLA

    ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models

    结构化执行:π0.5 先用 EAR 去噪出一段 15 点、步长 2 的粗参考轨迹,再用 IAR 从 VLM 的 KV 里抽隐式先验,动作头读两者生成动作;LIBERO 98.5(π0.5 96.9),LIBERO-Plus 微调设定 88.0(75.7)。

    北航、智元 AgiBot

  • MotorMind

    MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation

    结构化执行:冻结的通用 VLM 分饰规划、执行、监控、验证、记忆,输出带数值的中层动作交给确定性控制器,监控异步并行;LIBERO-PRO 零样本 66.7% / 扰动 53.8%,但每回合约 223 秒。

    UIUC

(4)评估与反馈 Evaluation & Feedback4 篇

在执行前或执行后引入显式评价信号,根据结果修正计划、更新状态或适应策略,形成闭环。

  • TT-VLA

    On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning

    评估与反馈:VLAC 进度估计的差分做每步奖励,无价值函数的 PPO 每 8 步更新一次 LoRA,每回合重置;4 个 VLA、15 个未见任务上维度平均提升 0.8–3.8 个点。

    UMKC、港科大(广州)、Meta AI 等

  • τ₀-WM

    τ0-WM: A Unified Video-Action World Model for Robotic Manipulation

    评估与反馈:同一个 Wan2.2-5B 视频主干开两个口,VAM 预测未来视频并出动作,ACVS 给候选动作想象多视角未来并打逐帧进度分;部署时先用重去噪一致性挑候选,不可靠时才调用 ACVS 选最好的未来再让 VAM 重新生成。4 个长程真机任务平均成功率 0.64(π0.5 0.44)。

    智元 AGIBOT Finch、上海创智学院

  • RoboTTT

    RoboTTT: Context Scaling for Robot Policies

    评估与反馈:GR00T N1.7 动作头每层加测试时训练(TTT)层,快权重部署时也做梯度更新,上下文扩到 8K 步;DAgger Distillation 把「失败 → 人的纠正」蒸馏进快权重。三个装配任务平均完成分 79(GR00T 42,GDN 56),预训练上下文 1K → 8K 平均分 43.9 → 71.5。

    NVIDIA、Stanford、UT Austin

  • τ₀-VLA

    τ0-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation

    评估与反馈:带执行记忆的高层在不确定时做子任务束搜索,世界模型想象后果、价值模型打分后再提交;分层 + 记忆让四个长程真机任务平均成功率 27.5% → 45.0%,搜索再加 2–3 次成功 / 10。

    智元 Agibot Finch、上海创智学院、港中文

机器人 / 仿真 / Real2Sim & Sim2Real

Real2Sim & Sim2Real1 篇

怎样把真实场景搬进仿真,怎样让仿真里训练或评估的策略在真机上表现一致:从一次性重建与域随机化,到部署时持续同步的数字孪生。

专题对照 →