MemoryVLA

OpenVLA、π0、CogACT 这类主流 VLA 每一步只看当前观测。论文用按按钮举例：按下前和按下后的画面几乎一样，只看当前帧没法判断这个按钮按过没有，策略就可能反复去按。操作任务是非马尔可夫的，早先做过什么会影响后面该做什么。

最直接的补法是把连续几帧一起喂给 VLM。论文认为这有两个问题：

• 上下文长度受限。自注意力的代价随序列长度平方增长，能塞进去的帧数有限。
• 和预训练分布不一致。VLM 的机器人预训练（Open X-Embodiment）是单帧输入，多帧序列偏离了这个分布。

相关工作里的几种时序做法，论文各点了一个短板：Octo、RoboVLMs、Interleave-VLA 用图文交错格式喂视频，实现复杂、计算贵；RoboFlamingo 把视觉语言表示压成一个 latent token 用 LSTM 传递，细粒度的感知历史基本丢了；TraceVLA 把历史轨迹画在当前帧上，丢了语义细节；UniVLA 把过去的动作写进 prompt，更像思维链，没有真正用上历史信息。

问题形式化：给定当前 RGB 图像 I ∈ ℝ^H×W×3 和语言指令 L，策略输出未来 T 步动作 (a₁, …, a_T) = π(I, L)。每个动作是 7 维：相对平移 Δx, Δy, Δz，相对旋转（欧拉角）Δθ_x, Δθ_y, Δθ_z，以及二值夹爪 g ∈ {0, 1}。注意策略的输入里没有历史帧，历史只通过记忆库进来。

认知模块给出的工作记忆只反映当前时刻：

记忆库 PCMB 由两条流组成，每条最多 L 条：

每个记忆条目带着它的 episode 时间步 t_i，用正弦编码 TE(·) 加到 key 上，value 不加。感知流把 L 条记忆堆成 LN_p×d_p 的张量，认知流堆成 L×d_c：

注意力之后接 FFN 构成一个 Transformer 层，叠两层得到最终的检索结果 H^p、H^c。感知流里 256 个 query token 各自看全部 L×256 个记忆 token；认知流里 1 个 query 看 L 个记忆。

g 是和 x 同形状的向量，每一维单独决定这一维取多少记忆、多少当前。融合结果 p̃、c̃ 被送往动作专家，同时写进记忆库。

当条目数超过 L，在每条流内部计算相邻条目的余弦相似度，选最高的一对取平均。两条流各选各的，所以感知流合并的可能是 t₂、t₃，认知流合并的可能是 t₅、t₆。论文的理由是去掉冗余、保留最显著的细节和语义，让记忆保持紧凑。

下面用一个 12 步的“依次按蓝、绿、粉三个按钮”的玩具 episode 走一遍记忆模块。每个时间步分成：观测 → 检索 → 门控融合 → 写入 →（库满时）找相邻最相似 → 合并。所有数字都是浏览器里按公式实时算出来的。

记忆条件动作专家。一个约 300M 参数的 DiT，用 DDIM 采样 10 步，预测 T = 16 步的动作块。每个去噪步里，带噪动作 token 先加上去噪步的正弦编码，再和认知表示 c̃ 拼接；cognition-attention 层提供高层语义引导，perception-attention 层从 p̃ 补充细粒度视觉细节，最后过 FFN。训练目标是预测动作与目标动作之间的 MSE，最终向量过 MLP 得到 7 维连续动作。推理时 CFG 系数 1.5。

超参（附录表 8）。全局 batch 256（每卡 32 × 8 卡 A100，PyTorch FSDP），学习率 2×10⁻⁵，梯度裁剪 1.0，“repeated diffusion steps” 为 4（训练时每个样本重复采样 4 次扩散步，CogACT 的做法），动作块 16，感知 token 通道 256。数据增强按固定顺序做随机裁剪（90% 面积）、亮度 0.2、对比度和饱和度 [0.8, 1.2]、色相 0.05，评测时关闭。

输入。所有设置都只用一张 224×224 的第三人称 RGB 加语言指令。真机用前置的 Intel RealSense D435，640×480、30 fps 采集后下采样，系统通过 ROS 集成；Franka 每次实验用原装平行夹爪或 Robotiq 平行夹爪之一。

选点方式。四个仿真平台都在训练中定期“验证”，报告验证最好的那一步的成功率。附录解释：扩散模型的去噪目标不能可靠反映策略质量，所以用成功率挑 checkpoint。这里的验证就是在评测基准上跑成功率。

基线来源。

• SimplerEnv：CogACT-Large 用官方权重在作者的设置里复测（原论文只给了 CogACT-Base 的逐任务数字）；π0 取自开源复现 open-pi-zero（float32，Uniform / Beta 两种时间步采样，用了本体状态），该复现没有 Fractal VA 的结果。
• LIBERO：CogACT 用官方代码复现；π0、π0-FAST 用原文数字，它们用了腕部相机和本体状态。
• Mikasa-Robo：OpenVLA-OFT、PI-0、SpatialVLA 来自 Mikasa-Robo 的 VLA 基线；同期的时序 VLA CronusVLA 由作者复现。
• 真机：OpenVLA、π0、CogACT，全部只用第三人称 RGB 和指令。

正文主表里时序方法不多，附录专门补了一张对比。作者指出 Mikasa-Robo 官方没有时序 VLA 基线，所以复现了同期的 CronusVLA（用滑窗模块聚合多帧 VLM 特征）。

论文读出的结论：两种记忆一起用最好（71.9），只用认知记忆 63.5、只用感知记忆 64.6；记忆长度 16 最好，4 和 64 都掉到 67.7；时间步编码 +2.1；门控比相加高 4.2；相邻合并比 FIFO 高 5.2。认知 token 从 1 个加到 4 个没有收益（69.8），作者推测单个 4096 维 EOS token 已经够用。

作者的结论：对干扰物、背景、纹理这类中等变化泛化良好，对未见相机视角掉得最多（Pick Coke Can 42.0，Move Near 58.0）。零样本任务泛化（表 16）以 Apple To Basket 为训练任务（5 次成功 4 次），在三个未见任务上分别是 Eggplant To Basket 3/5、Blush To Basket 2/5、Apple To Plate 2/5，平均 0.47。

300 次平均，bfloat16，动作块长度 16。作者把开销小归因于三点：每条认知记忆只有 1 个 token，感知记忆压到 256 通道，合并操作持续去掉冗余条目。

• 真机的“成功率”是按步骤计分的平均分。时序任务按细则给部分分（例如 Guess Where 抓起盖子就有 30 分），83 分不等于 83% 的试验完整完成。
• “比 SOTA 高 X 点”比的对象每个平台不一样。Bridge 的 +14.6 和 Fractal 的 +4.6 对 CogACT，Mikasa 的 +11.8 对 PI-0，LIBERO 的 +3.3 对复现的 CogACT。对最强基线的差距分别是 +3.5（π0-Beta*）、+4.6、+11.8、+2.5（π0*，按前四套）。
• “记忆”不跨 episode。它不是经验库，也不做相似任务检索；论文在结论里把“终身记忆”列为未来方向。
• 认知 token 不是语言输出。它是 LLaMA 在 EOS 位置的隐状态，模型不生成任何文字。

在 Harness for Robotics 专题里，MemoryVLA 属于 Persistent State / Memory 一类，改的是“记什么”，不是“看什么”：VLM 每一步看到的仍然只有当前一帧和指令，变化在于策略多了一个跨时间步保存、按需读取的状态。它也是本专题四类论文里发表最早的一篇（2025-08），记忆类的另外三篇都引用了它。

• 和 OptimusVLA：唯一和 MemoryVLA 正面比过数字的一篇（LIBERO 表 1）。它把记忆拆成两半：跨 episode 的全局先验从训练数据里检索相似轨迹，放进噪声先验；episode 内的局部一致性只看已执行的动作。它的相关工作批评 MemoryVLA 这类工作记忆“每次更新都要做一次完整的 VLM 前向”。解读MemoryVLA 本来每步都要跑 VLM 出动作，记忆复用的是同一次前向的输出，这条批评在“想让记忆更新比 VLM 调用更频繁”时才成立。两者记的东西也互补：MemoryVLA 记“看到了什么”，OptimusVLA 的 LCM 记“做了什么”。
• 和 SOMA：注入方式几乎一样，都是 cross-attention 后作为 DiT 动作头的条件。区别在组织方式：SOMA 按物体组织，带 3D 框，同一物体的多次观测用 EMA 合并，记忆随物体数增长；MemoryVLA 按时间组织，合并依据是“时间相邻且特征相似”，记忆随时间增长、靠合并封顶。SOMA 的相关工作只用一句话提到 MemoryVLA：存近期观测或关键帧，支持短期推理。
• 和 HiMe：层次完全不同。HiMe 的记忆是人能读懂的语言和图文条目，由 GPT-4o 显式增删改，执行器只收到语言子目标；MemoryVLA 的记忆是不可读的特征向量，怎么读由梯度学出来。HiMe 把 MemoryVLA 归为“策略层的检索式记忆库”。两篇都和 FIFO 做了对照，结论方向一致（HiMe 68% vs 90%，MemoryVLA 66.7 vs 71.9），但记忆单位一个是知识条目，一个是帧特征，不能直接类比。
• 跨类，点到为止：Context Architecture 三篇改的是“看什么”。RA-VLA 在测试前装好一个专家示范库，检索片段送进 DiT 动作头的 cross-attention，库在 rollout 中只读；ActiveVLA 每一步从点云重新渲染、挑视角和放大，不跨步保存状态；TIC-VLA 让 10 Hz 的动作专家读 0.5 Hz VLM 最近一次输出的 KV 缓存和延迟元数据。解读RA-VLA 的“检索 + cross-attention 进 DiT”在结构上和 MemoryVLA 最像，区别只在检索对象：别人的示范，还是自己这一回合的历史。TIC-VLA 的单槽缓存可以看成容量为 1、不做检索、每次覆盖的极端情形。
• 和（3）结构化执行、（4）评估与反馈两类：τ₀-VLA 举的番茄炒蛋「加盐」和本篇的按按钮是同一类问题：做完之后画面几乎不变，只看当前帧判断不了。τ₀ 把「已加盐」写进高层的文字执行记忆，低层 VLA 只拿子任务（分层 + 记忆让这个任务从 0/10 到 4/10）；MemoryVLA 把历史存成策略内部的特征 token，每步检索。解读两篇在证据上有同一个缺口：MemoryVLA 没有「同一训练流程、只去掉记忆」的对照，τ₀ 评测协议里写了记忆消融却没给结果，分层和记忆的贡献分不开。MotorMind 的 Memory Manager 也把历史压成有界的摘要，但做法是让同一个 VLM 把逐动作日志改写成一张文字便条；MemoryVLA 是合并相邻且最相似的特征条目。