Harness for Robotics · 十三篇精读

每篇给出做法、主要结果和最大的疑点。数字取自各论文 arXiv 源码里的 tex 表格或矢量图的文字层。

（1）上下文架构 Context Architecture3 篇

2026-01arXiv 2601.08325
复旦、上海创智学院、南洋理工
上下文架构

ActiveVLA

Injecting Active Perception into Vision-Language-Action Models for Precise 3D Robotic Manipulation

做法: 沿用 BridgeVLA（PaliGemma）的「2D 热图 → 3D」框架做两遍：粗阶段在三张正交投影上找关键 3D 点 p_f；再在以 p_f 为球心的测地球面上，按可见性、距离、多样性的 Z 分数挑 3 个虚拟视点，对最佳视点把视场角缩小 4 倍再渲染一张，精阶段只看这些图。选视角和放大都没有可学习参数，物理相机不动。
结果: RLBench 18 任务平均 91.8（BridgeVLA 88.2），COLOSSEUM 65.9（64.0），GemBench 51.3（50.0）。消融里两个模块合计 +2.3~+4.2 个点，推理时间约翻倍（RLBench 0.26 → 0.53 s）。
疑点: 按正文公式，候选都在同一球面上，距离项和多样性项对每个候选都是常数，排序只剩二值的可见性。只选 1 个主动视图（82.2）反而低于固定视图（87.6）。真机平台、COLOSSEUM 分项、真机总成功率在正文和附录里各有两套说法。

读 ActiveVLA 精读 →

2026-02arXiv 2602.02459
UCLA
上下文架构

TIC-VLA

A Think-in-Control Vision-Language-Action Model for Robot Navigation in Dynamic Environments

做法: 慢 VLM（InternVL3-1B，看 t−Δt 时刻往前 9 s 的 4 帧，生成推理文本和 3 个航点）在后台异步运行；10 Hz 的 6 层交叉注意力动作专家读当前帧、速度、VLM 最后一层 KV cache，外加延迟 Δt 和这段时间的自身位移 Δp。三阶段训练：VLM SFT → 动作专家模仿学习，人为注入 Δt ~ U(0,10) s → 仿真里 PPO，VLM 真异步运行。
结果: DynaNav 85 条 SR 55.29（最强语言导航基线 MobileVLA 32.94，点目标的 NavDP 54.12）。同样的 KV 接口，不建模延迟 30.59、建模后 47.06（均未做 RL）。Unitree Go2 真机 4 个任务各 5 次，0.75–0.85。
疑点: 模仿学习时的 KV 由 GPT-5 标注的推理文本算出（标注时看过未来画面），部署时换成 VLM 自己生成的文本。「有效延迟」前后两处定义不同。85 条测试只跑一个种子，和 NavDP 只差 1 条。

读 TIC-VLA 精读 →

2026-08arXiv 2608.25585
POSTECH
上下文架构

RA-VLA

Retrieval-Augmented VLA for Test-Time Adaptation

做法: GR00T N1.5 外挂检索：新任务的 3–4 条示范切成片段（某一时刻的观测 + 其后 16 步动作），由冻结 VLM 离线预编码。检索器用 DTW 对齐的动作序列定义正样本做对比学习，按「动作阶段」而不是画面相似度取片段；动作头 8 个交叉注意力层每层拼一段检索特征，去噪起点换成检索动作的均值，再用 margin 损失逼动作头读检索结果。新任务不更新权重。
结果: LIBERO 留出套件平均 0.3845（RICL_R 0.2085、RAEA 0.1235，都换上了本文的检索器）；UR5e 4 任务留一法 0.5625（0.3542）。K = 8 时单个动作块 0.055 s，RAEA 0.157 s。
疑点: LIBERO-Goal 上去掉 margin 损失只剩 0.098、换回现成检索器只剩 0.102，都回到 RAEA（0.104）的水平。去噪起点这一项没有消融。附录「10⁷ 个键检索 0.18 ms」按显存带宽算不通。UR5e 合并后 27/48 对 17/48，Fisher 检验 p ≈ 0.065。

读 RA-VLA 精读 →

（2）持久状态与记忆 Persistent State / Memory4 篇

2025-08arXiv 2508.19236
清华、Dexmal、旷视等
持久状态与记忆

MemoryVLA

Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation

做法: CogACT 骨架（7B Prismatic VLM + 约 300M DiT 动作头）中间插一个感知-认知记忆库：每步存 256 个感知 token 和 1 个认知 token（LLaMA 在 EOS 处的隐状态），当前 token 作 query 对记忆做 cross-attention 检索，经 sigmoid 门与当前 token 融合后送动作头并写回。每条流最多 L 条（16 或 256），满了合并相邻最相似的一对。输入只有单帧第三人称 RGB。
结果: SimplerEnv-Bridge 71.9（复测的 CogACT-Large 57.3），Fractal 72.7（68.1），LIBERO 96.5（93.2），Mikasa-Robo 41.2；真机时序任务 83（CogACT 57）。RTX 4090 单次推理 0.194 s，基线 0.187 s。
疑点: 没有「同一套训练、只去掉记忆」的对照。仿真报的是在测试基准上最好的那个验证步，基线是单个发布权重。正文说 Mikasa 上「每个任务都最好」，表里有两个任务不是。

读 MemoryVLA 精读 →

2026-02arXiv 2602.20200
哈工大（深圳）、鹏城实验室、华为诺亚等
持久状态与记忆

OptimusVLA

Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation

做法: 冻结的 π0.5 外挂两块记忆，都接在 flow 的去噪起点上。GPM 按 VLM 前缀检索训练集里的同类轨迹，按任务进度各切一个动作块，矩匹配成对角高斯来代替 𝒩(0, I)，相似度同时决定噪声尺度和去噪步数；LCM 用 Mamba 读本回合已执行的动作块，输出一个偏置加到起点上。VLM 输入和动作头条件都不变。
结果: LIBERO 平均 98.6（π0.5 96.9），LIBERO-Long 96.4（92.4）；CALVIN Avg. Len 4.45（π0.5† 4.26）；RoboTwin 2.0 Hard 主表 8 任务 38%（29%）。NFE 3.2 对 10，LIBERO 单次推理 39 ms 对 57 ms。
疑点: 摘要的「2.9× 推理加速」是真机 NFE 之比，对 π0.5 的实测时间比是 1.46×（LIBERO）和 1.19×（真机）。flow policy 只在高斯起点上训练过，没有「高斯起点直接走 3–4 步」的对照。RoboTwin 全部 16 个任务是 30%。

读 OptimusVLA 精读 →

2026-05arXiv 2605.22283
港科大（广州）、AI²Robotics、港科大
持久状态与记忆

SOMA

Spatial Memory for Out-of-Vision Manipulation in Vision-Language-Action

做法: GR00T N1.5 式 VLA 外挂物体级空间记忆：目标不可见时，可动头部按固定轨迹扫一圈，YOLO-World 检测、DINOv3 取外观、VGGT 算 3D 框，每个物体压成一个 384 维 token；操作中用头部画面做 α = g·s 的门控 EMA 刷新，VL token 对全部记忆做交叉注意力，结果作为 DiT 的额外上下文。
结果: 5 个视野外真机抓放任务各 20 回合，各阶段平均成功率 28.3%（按图 4 算，GR00T N1.5 18.3%）。RoboCasa GR1（目标全可见）用全部数据时 49.3 对 45.9。在线推理约 1.58 s / 动作块（GR00T N1.5 约 1.30 s）。
疑点: 表 2 有几个数用「20 回合 × 阶段平均」算不出来。GR1 消融的增益几乎全来自「容器交互」一类。行为指标的定义和正文的解读对不上。记忆条目不带时间戳，被挪走的物体会留下陈旧条目，论文承认但没有实验。

读 SOMA 精读 →

2026-07arXiv 2607.03449
复旦、上海创智学院、华东师大
持久状态与记忆

HiMe

Hierarchical Embodied Memory for Long-Horizon Vision-Language-Action Control

做法: 三层、三种频率：Executor（π0.5，推理 2 Hz）只看当前画面和一句子目标；Sentry（Qwen3-VL-8B）每 10 个执行步看一眼最近 8 帧，判当前子任务是否完成；判完成才唤醒 Planner（GPT-4o），它用 QUERY / CREATE / UPDATE / DELETE 增改删一个图文键值记忆库，并重写子任务计划表。只有 Executor 需要训练（60 条示范）。
结果: WidowX-250 三个长程任务（各 20 次），平均任务进度 90；去掉 Sentry 68，FIFO 式 Flat Memory 65，无记忆 14。每个子任务 Planner 调用 1.4–2.6 次（Flat Memory 4.8–6.2 次）。
疑点: 「90」是子任务完成比例，不是整任务成功率。Sentry 判完成的召回约 35%，靠一个间隔没写的定时兜底。GPT-4o 单次调用中位 38.59 s，比一个子任务的平均执行时长还长，全文没有整任务耗时。换成 Qwen3-VL-30B 后有两条结论与正文相反。

读 HiMe 精读 →

（3）结构化执行 Structured Execution2 篇

2026-01arXiv 2601.11404
北航、智元 AgiBot
结构化执行

ACoT-VLA

Action Chain-of-Thought for Vision-Language-Action Models

做法: π0.5 上加三块：EAR（18 层、约 300M，读 VLM 逐层 KV，用 flow matching 生成步长 2、15 点的参考轨迹）、IAR（每层 1 个 query，在降到 128 维的 KV 上抽隐式先验）、AGP（加噪动作当 query 交叉注意力读两路）。训练时参考轨迹用真值（teacher forcing）。
结果: LIBERO 98.5（π0.5 96.9）；LIBERO-Plus 零样本 86.6 vs 85.7、微调 88.0 vs 75.7；真机 4 项平均 66.7% vs 61.0%。同参数量同步数下，拆成「EAR + 动作头」比单个大动作头在 LIBERO-Plus 上高约 8 个点。
疑点: 大幅增益只在冻结主干的微调设定里，那里的 π0.5 基线比它自己的零样本低 10 个点。消融表用了两套不同的基线数字。真机 Pour Water 12 次试验却出现 22.5%。

读 ACoT-VLA 精读 →

2026-09arXiv 2609.38078
UIUC
结构化执行

MotorMind

Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation

做法: 冻结的 Qwen3.8-Flash-Next 分饰 Planner、Executor、Monitor、Verifier、Memory（附录共 8 份提示词）。Executor 输出基座坐标系下带毫米/角度的 move / rotate / gripper 批次，确定性控制器执行；Monitor 后台并行、只能喊停；Memory 后台写便条。
结果: LIBERO-PRO 基础 66.7%、扰动 53.8%（零样本基线最高 13.3% / 19.2%）；xArm6 真机放置 95%；换 GPT-6 Sol 到 83.3%。
疑点: 每回合约 223 秒，微调 VLA 约 6 秒。「与微调策略相当」只对 OpenVLA-OFT 成立。异步调度没有同步对照；主表与 Figure 5 是两次不同运行。tex 源码中的隐藏作者批注自己指出了后两点。

读 MotorMind 精读 →

（4）评估与反馈 Evaluation & Feedback4 篇

2026-01arXiv 2601.06748
UMKC、港科大（广州）、Meta AI 等
评估与反馈

TT-VLA

On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning

做法: 冻结的 VLAC 每步估计任务进度，奖励 r = p_t − p_t−1；PPO 去掉价值项和熵项，γ = λ = 0，优势即奖励；每 8 步更新一次 LoRA，每个回合开始重置权重。只适用于离散 token 的 VLA。
结果: ManiSkill3 上 15 个未见任务、4 个 VLA，维度平均提升 0.8–3.8 个点；Franka 真机 OpenVLA 三类任务 +3.3 / +13.3 / +13.3（每类 30 次）。更新太频繁（每步）会低于不适配的基座。
疑点: 提升大多小于 240 次试验的统计误差，却没有一个负值；主表 3 处数字颠倒、1 处 Δ 算错；超参在测试任务上选；没有延迟数字。

读 TT-VLA 精读 →

2026-05arXiv 2606.01027
智元 AGIBOT Finch、上海创智学院
评估与反馈

τ₀-WM

A Unified Video-Action World Model for Robotic Manipulation

做法: Wan2.2-TI2V-5B 视频主干开两个口：VAM 加 0.5B 动作 DiT（每层交叉注意力读视频特征），同时去噪未来视频潜变量和 30 步动作块；ACVS 把候选动作按 Cosmos 方式注入时间步嵌入与 AdaLN，生成多视角未来和逐帧进度分（失败子任务段为负）。2.73 万小时真机、UMI、人类视频按监督掩码混训。部署：采 4 个候选，按重去噪一致性分（RCS）挑；最高分低于 γ 时调用 ACVS，取想象进度最高的未来作为条件让 VAM 重新生成（LAR）。
结果: 4 个未进预训练的长程真机任务（三种机器人）平均成功率 0.64（π0.5 0.44，Fast-WAM 0.20），进度 0.72。两个抓放任务、单次尝试：无测试时计算 0.43，+RCS 0.50，+LAR 0.60。加 UMI 与人类视频后零样本 0.14 → 0.55。
疑点: 主结果没写试验次数、也没写是否开了测试时计算；测试时计算只在两个简单任务、每格 20 次上测，RCS 每任务多 1–2 次成功。LAR 里「想象的未来作为条件」怎样输入 VAM、如何训练没有交代；γ、K、ACVS 耗时都未披露。和同团队的 τ₀-VLA 互不引用。

读 τ₀-WM 精读 →

2026-07arXiv 2607.15275
NVIDIA、Stanford、UT Austin
评估与反馈

RoboTTT

Context Scaling for Robot Policies

做法: GR00T N1.7 的 16 层 DiT 动作头每层在注意力后加一个 TTT 层：快模型是两层 MLP，每步用键值重建损失做一次梯度更新，再用更新后的权重输出；注意力只看当前一步，16 个寄存器 token 把视觉语言信息带进 TTT 层。序列动作强制（每个动作块独立采噪声水平）+ 截断反传让上下文扩到 8K 步。DAgger Distillation：整条交互历史都更新快权重，损失只算在人的纠正上。
结果: YAM 双臂三个装配任务平均完成分 79（GR00T 42，GDN 56），5 分钟的 Gear Bot 唯一出现完整成功（2/10）；单段人类视频一次模仿 6/10（GDN 0/10）；预训练上下文 1K → 8K，平均分 43.9 → 71.5，GDN 无此趋势。DAgger Distillation 在 Pup Go Car 上 66 → 89，标准 DAgger 到 73。
疑点: 主图 Pup Go Car 的分数已经含 DAgger 训练（序列模型用 DAgger Distillation），只在一张图注里说明，不用 DAgger 时是 66 对 GR00T 53。「推理时延不随上下文增长」没有时延数字；动作块长度未披露。扩展曲线每点一次运行，512 步处 GDN 略高。

读 RoboTTT 精读 →

2026-08arXiv 2608.16885
智元 Agibot Finch、上海创智学院、港中文
评估与反馈

τ₀-VLA

a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation

做法: 高层：Qwen3.5-9B 微调的提议模型更新执行记忆并提出子任务；token 置信度低时做束搜索，Step1X-Edit 初始化的世界模型想象子任务完成的画面，五档价值模型打分，反思模型综合提交。低层：Qwen3.5-2B + MoT，40 维统一动作空间，40,115 小时数据。
结果: 四个长程真机任务，分层 + 记忆（不搜索）平均成功率 27.5% → 45.0%；开搜索后三项任务 5→7、6→9、5→7 / 10；离线子任务准确率书本整理分布外 50.0% → 74.0%。
疑点: 每格 10 次试验；实际 N、B、D 与搜索耗时未披露；评测协议提到的记忆消融没有结果；两张图里同一个 Plan Once 基线数字不一致；基线怎么微调没说。

读 τ₀-VLA 精读 →

	ActiveVLA上下文 · 视觉选择	TIC-VLA上下文 · 时序对齐	RA-VLA上下文 · 检索	MemoryVLA记忆 · 执行历史	OptimusVLA记忆 · 先验与动作历史	SOMA记忆 · 空间状态	HiMe记忆 · 任务状态
改的是什么	VLM 看到的图像：从哪个虚拟视点看、放大多少	动作专家拿到的语义是哪一刻的，并附上 Δt、Δp	动作头额外读到的检索示范片段；去噪起点	跨步的特征记忆（感知 256 token + 认知 1 token / 步）	示范轨迹库（跨回合）+ 已执行动作块（回合内）	物体级空间记忆（外观 + 3D 框，每个物体 1 个 token）	图文键值记忆库 + 子任务计划表（人可读）
接入位置	两遍 VLM 之间：粗阶段热图给出 p_f → 选视点重渲染 → 精阶段输入	动作专家每层交叉注意力的 K/V	DiT 动作头 8 个交叉注意力层 + flow 起点	VLM 之后、DiT 动作头之前	flow policy 的去噪起点和步数	VLM 输出与 DiT 之间，读出后注入 DiT	策略之外，经子目标文本进入 π0.5
状态跨度	单个关键帧，不存状态	只保留最近一次推理，完成即覆盖	跨回合的静态示范库，回合内无状态	单个回合内累积，容量 L 封顶	跨回合轨迹库 + 回合内动作历史	单个回合内，扫描后持续刷新、不删除	单个回合内，按子任务更新
要训练什么	微调 VLM（BridgeVLA 预训练权重）；选视角无参数	三阶段：VLM SFT、动作专家模仿学习、PPO	检索器 + 动作头；新任务免训练	端到端微调，只有动作损失	π0.5 冻结，训 Prior Head 和 LCM（各 1000 步）	除语言解码器外全部微调；感知栈冻结	只训 Executor（60 条示范）；Sentry、Planner 零样本
基座	BridgeVLA（PaliGemma）	InternVL3-1B + 动作专家	GR00T N1.5	CogACT 骨架（7B Prismatic VLM + DiT）	π0.5	GR00T N1.5（论文称为真机 baseline，架构一致）	π0.5 + Qwen3-VL-8B + GPT-4o
速度	H100 每次推理 0.26 → 0.53 s（RLBench，固定视图 → 完整）	A6000：动作 32.70 ms，VLM 1681.66 ms	A100 单个动作块 0.055 s（K = 8）	RTX 4090 0.194 s（基线 0.187 s）	LIBERO 39 ms（π0.5 57 ms），NFE 3.2 对 10	RTX 4090 约 1.58 s / 动作块（GR00T N1.5 约 1.30 s）	GPT-4o 单次调用中位 38.59 s；整任务耗时未披露
评测	RLBench、COLOSSEUM、GemBench；真机 4 个遮挡任务（次数未披露）	DynaNav 85 条（单种子）；Go2 真机 4 任务 × 5 次	LIBERO 留出套件（每任务 50 次）；UR5e 4 任务 × 12 次	SimplerEnv、LIBERO、Mikasa-Robo；真机 12 任务	LIBERO、CALVIN、RoboTwin 2.0；Galaxea R1 Lite 真机	真机 5 任务 × 20 回合；RoboCasa GR1、SimplerEnv	WidowX 真机 3 任务 × 20 次

	ACoT-VLA结构化执行	MotorMind结构化执行	TT-VLA评估与反馈	τ₀-WM评估与反馈	RoboTTT评估与反馈	τ₀-VLA评估与反馈
层次结构	VLM → 参考轨迹 → 动作头	Planner → Executor → 控制器；Monitor / Verifier / Memory 旁路	单层 VLA，外面套在线更新	策略 VAM + 评价器 ACVS，共用视频主干结构	单层 VLA，动作头内加跨时间的 TTT 层	高层（提议 / 世界 / 价值 / 反思）→ 低层 VLA
中间接口	15 点粗轨迹 + 18 个隐式先验向量（可微）	子目标 + 成功判据；参数化动作 JSON	—	想象的未来视频潜变量（LAR 时作为 VAM 的条件）	—（历史压进快权重）	自然语言子任务 + 文本执行记忆
评价信号	无	同一个 VLM 自评 + 实测机器人状态	VLAC 进度估计差分	重去噪一致性分 + ACVS 想象视频与逐帧进度分	测试时：自监督键值重建损失；训练时：人的纠正	想象终态图 + 五档价值打分
评价时机	—	执行中（并行）、执行后	执行后，每一步	执行前，每个动作块；ACVS 仅在一致性分低于 γ 时	执行后，每一步（不打分）	执行前，仅在置信度低时
反馈改变什么	—	停 / 重试 / 重规划	LoRA 参数（回合内）	选哪个动作；朝选中的未来重新生成	快权重（回合内，每回合从 W₀ 重来）	选哪个子任务；记忆
要训练什么	EAR、IAR、AGP、动作头（可冻结 VLM）	什么都不训练	测试时只更新 LoRA	VAM 与 ACVS（含奖励头）分别训练；部署不更新参数	预训练只训 TTT 层，后训练全部微调；部署时只更新快权重	高层 4 个模型 + 低层 VLA
基座	π0.5（PaliGemma 2B）	Qwen3.8-Flash-Next / GPT-6 Sol	OpenVLA、Nora、OpenVLA-RL、TraceVLA	Wan2.2-TI2V-5B + 0.5B 动作 DiT	GR00T N1.7（DiT 538M → 690M）	Qwen3.5-9B（高层）、Qwen3.5-2B（低层）
速度	每次推理 112 ms（RTX 4090）	每回合约 223 s	未报告	只出动作约 220 ms（RTX 5090）；测试时计算耗时未报告	30 Hz 控制（RTX 5090）；每步耗时未报告	高层约 1 s 刷新，低层约 30 Hz；搜索耗时未报告
任务时长	LIBERO 短任务；参考轨迹约 3 s	LIBERO-PRO、单物体真机拾放	160 步拾放	多阶段装配与收纳（时长未披露）	1–5 分钟装配（约 1.8K–9K 步）	1–10 分钟，最长 12 分钟
评测	LIBERO、LIBERO-Plus、VLABench、真机 4 项（12–40 次）	LIBERO-PRO（60 + 240 回合）、动态任务、xArm6	ManiSkill3 15 任务 × 240 次、Franka 9 任务 × 10 次	真机 4 个长程任务（次数未披露）；测试时计算 2 任务 × 20 次	YAM 双臂 3 任务 × 20 次（Gear Bot 10 次）；一次模仿 10 次；扰动 2 × 20 次	真机长程 4 项 + 跨本体 4 组，各 10 次；离线子任务预测

四类 harness

上下文架构 Context Architecture

持久状态与记忆 Persistent State / Memory

结构化执行 Structured Execution

评估与反馈 Evaluation & Feedback

（1）（2）七篇接在策略的哪里解读

（3）（4）六篇在两条轴上的位置解读

按时间排解读

十三篇

（1）上下文架构 Context Architecture3 篇

（2）持久状态与记忆 Persistent State / Memory4 篇

（3）结构化执行 Structured Execution2 篇

（4）评估与反馈 Evaluation & Feedback4 篇

横向对照 · （1）（2）

横向对照 · （3）（4）

（1）（2）里的线索解读

看不见的东西：换个视角，还是记下来？

记忆存成什么？

记忆本身贡献多少，证据不齐

加上 harness 的代价

跨类的线索解读

「子任务做完没有」是共同的薄弱点

异步分层里，只有 TIC-VLA 告诉低层上下文有多旧

给动作头一段动作先验，怎么逼它读？

「测试时适应」至少有四种意思

（3）（4）里的线索解读

语言子任务够不够细？

评价器本身可靠吗？

执行前，还是执行后？

统计强度普遍偏弱