ActiveVLA 精读

问题 · §1、§3

固定相机被挡住、看不清，就换个角度、凑近看

论文的任务设定沿用 PerAct / RVT 一系：策略 π 把观测 o 和指令 l 映射到下一个关键帧的动作 a，包括末端 6-DoF 位姿 T ∈ SE(3)、夹爪开合 g ∈ {0, 1} 和一个碰撞标志 c ∈ {0, 1}，关键帧之间交给运动规划去走。观测 o 是一台或几台固定相机（或腕部相机）拍的 RGB-D。

作者认为问题出在这些相机的视点和分辨率是死的：目标被别的物体挡住时换不了角度，目标太小时拉不近。长时程和精细操作都会因此丢掉关键信息。开篇引了 Richard Gregory 的一句话："感知不是被动的过程，而是主动检验假设的过程。"

它的回答分两步：先粗略确定"该看哪儿"，再决定"从哪看、看多近"。后一步对应两个模块，主动视角选择（A-VS）和主动 3D 放大（A-3Z）。

原文图 1：上排对比固定视角被绵羊玩偶挡住苹果导致失败，与 ActiveVLA 换视角、凑近观察后成功；下排对比两类架构 — **原文 Figure 1**上排：指令是"把桌上的苹果拿给我"，当前视角里苹果被绵羊玩偶挡住；以往方法直接出动作而失败，ActiveVLA 先"换一个更好的视角"、再"凑近仔细看"，然后成功。下排：以往方法是 VLM + 动作专家；ActiveVLA 在两者之间加了一个 Active Perception 模块，输入多了"3D Info"，输出给动作专家的是"无遮挡的放大视图"。图注原话是 ActiveVLA "freely place virtual cameras and synthesize optimal viewpoints"。

解读示意图和方法之间隔着一层"渲染"

图 1 上排用三张从不同物理位置拍的真实照片表现"换个角度看"。但方法里的新视角是对已有点云的重渲染（§3.2 原文："re-renders the scene"、"virtual rendering space"），实际样子见下文图 3 的点云渲染图。虚拟相机能绕开"渲染时的前景遮挡"，前提是被挡住的那部分曾经被某台物理相机拍到过；任何一台相机都没拍到的地方，换多少个虚拟视点也是空的。

解读和前作的关系

把点云渲染成正交视图再喂给模型，是 RVT / RVT-2 的做法（论文引了它们）；骨干和热图框架直接取自 BridgeVLA（§4 "adopts the pre-trained VLM backbone from BridgeVLA"）。RVT-2 本身已有"先粗定位、再围绕该区域放大重渲染"的两阶段设计。ActiveVLA 的新意落在精阶段：视点不再是固定的正交方向，而是围绕关键点在球面上挑；放大改用透视相机缩视场角。论文没有和"固定方向放大"单独做对照。

方法 · 全局 · Figure 2

两遍 PaliGemma，中间夹一个几何模块

原文图 2：ActiveVLA 流程，上排为关键区域感知，下排为主动感知和 3D 动作预测 — **原文 Figure 2**上排（Crucial Area Perception）：RGB-D 重建点云 → 三张正交虚拟图 → PaliGemma (Coarse) → 图像 token 经 Convex Upsample 得到热图 → 抬升到 3D 得到关键点和区域。左下（Active Perception）：球面上一圈候选相机，挑出几台（红框），再做 3D zoom-in。中下（3D Action Prediction）：三张"主动视图"虚拟图 → PaliGemma (Fine) → 热图 + Action Decoder，输出夹爪旋转、开合与碰撞开关。注意两个 Convex Upsample 之间标着 Share Weights；两个 PaliGemma 是否同一组权重，正文没说。

逐步看：每一步的输入、输出和没说清的地方

§3.1–3.3 · 附录 C

解读可学习的部分只有两处

粗阶段的热图决定关键点 p_f（学的），精阶段的热图和 MLP 头决定动作（学的）。中间"从哪看、看多近"由固定公式算出，梯度不经过它。所以 ActiveVLA 的"主动"是：学到的注意力（热图）告诉几何模块往哪儿凑，几何模块按手写规则决定怎么凑。

方法 · 粗阶段 · §3.1

三张正交图 + 热图，先找出"该看哪儿"

多视图渲染。用标定相机的 RGB-D 重建场景点云，从顶、前、右三个方向做正交投影。每个视图渲染 7 个通道：RGB 3 个、深度 1 个、点的世界坐标 3 个。世界坐标通道的作用是建立跨视图的像素对应：不同视图里 (x, y, z) 相同的像素就是同一个 3D 点。渲染用 PyTorch3D，每个像素取深度最小的点，保证遮挡正确：

I^(v)(u_x, u_y) = Σ_i=1..N c_i · δ( (u_x, u_y) − π^(v)(p_i) )， π^(v) 为正交投影(2)

关键区域提取。三张图连同指令进 VLM。作者认为 VLM 的全局表征不够做精确定位，于是把输出的 M 个 patch token 按空间位置重排成 H_p × W_p 的特征网格，用 convex upsampling（逐像素学习插值权重，而不是固定插值）放大到输入分辨率，得到热图：

H = 𝒰( Rearrange( {t_i}_i=1..M ) )(3)

热图用交叉熵训练；三个视图的热图反投影回 3D，定位关键区域，记其中心为 p_f（原文举例"部分可见物体的质心"）。

未披露粗阶段热图的监督信号是什么

论文只说"用交叉熵训练热图"，没说粗阶段的目标是下一关键帧的末端位置，还是别的"关键区域"标注。多视图热图怎样聚合成一个 3D 点（取 argmax、加权平均还是体素投票）也没写。图像分辨率、点云裁剪范围同样没给。

方法 · 主动视角选择 · §3.2

围绕关键点撒一圈虚拟相机，按三项分数挑 3 个

论文把这一步称作"假设检验式"的视角选择。给定 p_f ∈ ℝ³，在以它为球心的球面上生成候选相机位置。为了各向均匀，用正二十面体递归细分做测地采样，避免经纬度网格在两极过密。论文给出细分 k 层后的顶点数：

V(k) = 12 + 30k + (20/3)(4^k − 1)(4)

每个候选 c_i 算三项分数：

可见性。在 c_i 到 p_f 的线段上等距取 N 个点 q_k，用 KD-tree 查每个点到观测点云 𝒮 的最近距离 d_k。全部 d_k ≥ r 则视线无遮挡，v(c_i, p_f) = 1，否则为 0。
距离。把 ‖c_i − p_f‖ 归一化并在候选间标准化，"偏好适中的观察距离，兼顾视野和细节"。
多样性。c_i 的视线方向与所有其他候选视线方向的夹角之和。

d_k = min_s∈𝒮 ‖q_k − s‖， v = 1 ⇔ d_k ≥ r ∀k(5)

S_div(c_i) = Σ_j≠i arccos(v_i · v_j)， 𝒞 = {c₁, …, c_M}(6)

s_i = w_vis·s_vis + w_dis·s_dis + w_div·s_div， w_vis + w_dis + w_div = 1（三项先 Z 标准化）(7)

取得分最高的 K 个视点作为下一次观测位姿（实验中 K = 3），每台虚拟相机用 look-at 定姿：eye = c_i，target = p_f，up 向量"动态调整"。得分最高的那个视点，作为下一步 3D zoom-in 的基础。

按原文公式跑一遍：候选、射线、Z 分数、top-K

公式 (4)–(8) · 数字来自原文 Figure 5

场景

细分 k

选几个 K

多样性里的 𝒞

w_vis 0.33 w_dis 0.33 w_div 0.33

拖动旋转 · 点候选看取景

可见候选被遮挡top-K射线上 d_k < r 的采样点

z = 1

z = 4

放大倍数 z4

演示场景：1.1 m × 0.9 m 的桌面点云、一个红色目标方块（p_f 直接取它的中心，论文里来自热图），外加可选的遮挡物。候选生成、射线可见性、三项分数、Z 标准化和加权都按原文公式实现。论文没给的参数是我们设的：球半径 0.45 m、阈值 r = 0.022 m、每条射线 24 个采样点、原始视场角 α = 60°、权重默认各 1/3；射线检测时不计目标自身的点，否则视线末端必然贴着目标表面、永远判为遮挡，论文没说怎么处理这一点。并列时按候选编号取前 K 个，这一步原文没有定义。

疑点距离项和多样性项，在完整球面上都是常数

距离：候选都在以 p_f 为球心的同一个球面上，‖c_i − p_f‖ 全等于半径，Z 标准化的分母为 0。即便有多个半径，"偏好适中距离"也需要非线性打分；线性的 Z 分数配正权重偏远、配负权重偏近，做不到"适中"。论文没给半径，也没说用了几层球壳。

多样性：测地球面的候选集关于球心对称。对任一候选方向 v，它的对径点贡献 π；其余候选两两成对 (u, −u)，每对贡献 arccos(v·u) + arccos(−v·u) = π。所以 S_div 对每个候选都等于 πM/2（M = 42 时为 65.97）。我们对 k = 0 到 3 逐一数值验证过。按字面实现，排序只剩二值的可见性，所有可见候选并列。

就算把 𝒞 理解成"只在可见候选里求和"（演示里的第二个选项），这个分数也只奖励"离其他候选远"的单个视点，即可见区域边缘的掠射视角，不惩罚选出的 K 个视点彼此挨着。原文图 3 里选出的视角都是从斜上方看向目标，看不出退化的迹象；实际实现可能和正文公式不同（例如只在上半球采样），论文没有给出更多细节，我们无法核对。

疑点公式 (4) 的顶点数对不上

正二十面体按中点细分，每层把一个三角形分成 4 个，顶点数是 10·4^k + 2：k = 0、1、2、3 时为 12、42、162、642。公式 (4) 给出 12、62、172、522，只在 k = 0 时对。实验用了哪一层，论文没说。

方法 · 主动 3D 放大 · §3.2

同一个视点，把视场角缩小 z 倍再渲染一次

选出最佳视点后，系统在同一相机位姿下缩小视场角重新渲染，相当于在虚拟渲染空间里模拟光学变焦。设原视场角 α（弧度）、放大倍数 z > 1、相机到关注区域距离 d，渲染图在垂直视线方向覆盖的宽度为：

W(z) = 2d · tan( α / (2z) )， R = 图像宽度（像素）/ W(z)(8)

W 随 z 变小，单位物理宽度分到的像素 R 随之变大。作者强调这是"利用 3D 点云做尺度不变的视图合成，没有几何损失"，并把"选视角"和"放大"概括为探索（exploration）与利用（exploitation）的分工：A-VS 管往哪儿看，A-3Z 管看多近。实验里 z 取 4。

z	论文式 W/d	标准变焦 W/d	相差	RLBench 成功率（Figure 5b）

W/d 按 α = 60° 计算（论文没给 α，这里只作示例）。"标准变焦"指焦距乘以 z：tan(α′/2) = tan(α/2)/z，W = 2d·tan(α/2)/z。论文式相当于把视场角本身除以 z，小角度时两者接近。

解读放大没有增加信息，只是重新分配 VLM 的像素

点云的密度由物理相机决定，重渲染不会凭空多出点。放大后点与点在图像上的间距随 z 同步拉大，上面演示右侧的取景框里能看到点变稀、出现缝隙。真正的收益在于：VLM 的输入分辨率是固定的（具体多少论文没说），放大把更多像素分给目标附近，热图的定位粒度跟着变细。代价是丢掉周边上下文。Figure 5b 的曲线正是这个权衡：z = 4 时 91.8 最高，z = 6 降到 90.9。

未披露放大视图是替换还是追加

公式 (9) 只对 3 个视图求和；K = 3 个选中视图加 1 张放大视图，到底送进 VLM 几张图，正文没说。图 2 下排画的 3 张"主动视图"里有一张明显是放大的。消融里加上 A-3Z 后单步耗时再增加 0.08–0.11 s，比只重渲染一张图要多，可能多了一张图过 VLM，但这只是推测。

方法 · 3D 动作预测与训练 · §3.3 · 附录 C

精阶段：热图投票出平移，全局 + 局部 token 出旋转

主动视图和放大视图送进 VLM 生成热图。平移：把 2D 热图反投影到工作空间的离散网格 𝒢 = {g₁, …, g_N} 上累加成多视图得分体，取最大值处为平移目标：

S(g) = Σ_v=1..3 w_v · h_v( π_v(g) )， t* = argmax_g∈𝒢 S(g)(9)

旋转、夹爪、碰撞：欧拉角 (φ, θ, ψ) 每轴离散成 72 个 bin（每格 5°）。一个层次化特征融合模块汇总两类 token：

全局 token：对"每个正交投影"的视觉编码器输出做 max-pool，每个视图一个，共 3 个。
局部 token：用 ROI-aware sampler 抽取，编码细节外观和几何。

全部 token 拼接后过 MLP，输出旋转、夹爪状态和碰撞标志。

未披露精阶段还有几处没交代

网格 𝒢 的分辨率、视图权重 w_v、局部 token 的数量和采样区域、旋转与夹爪的损失形式都没给。另外，正文说全局 token 来自"每个正交投影"，可精阶段的输入是透视的主动视图；全局 token 用的是粗阶段的三张正交图，还是精阶段的主动视图，读不出来。

训练配方（附录 C）

骨干取 BridgeVLA 的预训练 VLM：PaliGemma（SigLIP 编码器 + Gemma 解码器），在 RoboPoint 的 12 万张图子集上预训练过。之后按 RLBench → COLOSSEUM → GemBench → 真机的顺序逐段训练，各段优化流程相同，SigLIP 和语言 token 嵌入全程冻结。

阶段	学习率	batch	训练量	GPU	时长
RLBench	8×10⁻⁵	192	90,000 步	16 × H100	约 20 h
COLOSSEUM	8×10⁻⁵	192	90,000 步	16 × H100	约 20 h
GemBench	8×10⁻⁵	160	50 epoch	32 × H100	约 8 h
真机微调	2×10⁻⁵	192	400 epoch	8 × H100	约 2 h

共同设置：AdamW，无 warmup（RLBench、COLOSSEUM 写明），cosine 学习率衰减，梯度裁剪 1.0。

疑点到底训了哪些参数

附录开头说全程冻结 SigLIP 和语言 token 嵌入，言下之意 Gemma 主干参与训练；同一节末尾又说"只更新动作头、视角选择模块和 3D zoom-in 模块"。按 §3.2 的描述，后两个模块根本没有可学习参数。另外正文写"所有实验在 8 张 H100 上运行"，附录的训练用了 16 或 32 张。顺序训练的说法也让人不确定：报告 RLBench 成绩的是第一段的 checkpoint，还是后面某段的。

实验设置 · §4 · 附录 D、E

三个 RLBench 系仿真基准，加 4 个真机遮挡任务

基准	内容	评测
RLBench	18 个任务，Franka Panda，4 台标定相机的 RGB-D，每任务 100 条示范	"五次试验"取均值和标准差；每次多少回合未披露
COLOSSEUM	在 RLBench 上加 12 类扰动：操作物/容器的颜色、纹理、大小，光照颜色，桌面颜色与纹理，干扰物，背景纹理，相机位姿；外加"全部扰动"和"无扰动（RLBench）"两列	附录 D 说"与 RLBench 相同的任务"；附录表 6 列的却是 20 个任务，与 RLBench 的 18 个只部分重合
GemBench	RLBench 物理，7 种动作原语，16 个训练任务、44 个测试任务，按 L1–L4 四级考查泛化与组合	只报均值，不带置信区间
真机	正文：KINOVA GEN2 + 一台 RealSense D455，eye-to-hand。附录 E：Franka Panda + 腕部 RGB-D + 两台固定相机。4 个强遮挡任务：多层抽屉取毛巾、红块叠到绿块上、果盘里取被挡住的香蕉、挂架上取被挡住的紫杯	每任务试验次数未披露；附录另列 5 个"直接操作"任务，只有图没有数字

基准	对比方法
RLBench	Image-BC（CNN / ViT）、C2F-ARM-BC、HiveFormer、PolarNet、PerAct、Act3D、RVT、3D Diffuser Actor、RVT-2、BridgeVLA
COLOSSEUM	R3M-MLP、MVP-MLP、PerAct、RVT、RVT-2、BridgeVLA
GemBench	Hiveformer、PolarNet、3D Diffuser Actor、RVT-2、3D-LOTUS、3D-LOTUS++、BridgeVLA
真机	Diffusion Policy、VPP、TriVLA、RVT-2。TriVLA 是同一第一作者团队的前作（参考文献 liu2025trivla）。BridgeVLA 不在其中

原文图 6：RLBench 任务示例，每个任务两帧 — **原文 Figure 6**RLBench 任务示例，每个任务给出起止两帧：拿下烤架上的肉、拧灯泡、伸手拖拽、拧水龙头、扫到簸箕、推方块到色块、开抽屉、叠杯、把钱放进保险箱、放杯子、形状分拣、把杂货放进橱柜。图注写"18 个 RLBench 任务"，图里实际是 12 个。

疑点真机平台两套说法

正文 §4 写 KINOVA GEN2 + 一台 D455（eye-to-hand），附录 E 写 Franka Panda + 腕部相机 + 两台固定相机。图 4 和图 8 的照片里是一台黑色、带银色关节环的机械臂，外形和 Kinova Gen2 一致，不是白色的 Franka。这件事直接关系到方法的前提：如果真机只有一台固定的 D455，点云只覆盖一个视角，虚拟相机转到别的方向时，目标背面只能是空洞。

结果 · §4.1–4.2 · 附录 B

四张主表、一组组件消融、两条超参数曲线

RLBench（表 1）

18 个任务的平均成功率

数字来自表 1 的 Avg. SR 列。Image-BC、C2F-ARM-BC 两行同时引了 PerAct 论文，数字应是沿用前人报告；带 ± 的行是多次评测的均值和标准差。

原表数字（表 1，全部 12 个方法 × 18 个任务）

逐任务：最强的六个方法

琥珀色越浓，成功率越高。红框是表 1 把 ActiveVLA 标为第一、但按表中数字并非第一的格子。

论文的说法是 RLBench 新 SOTA，平均成功率 91.8、平均名次 1.22，"在 Insert Peg、Open Drawer 等精度要求高的任务上表现突出，在 Place Cups 这种有遮挡的任务上也稳"（65.6）。提升最大的几项是 Put in Cupboard（BridgeVLA 73.6 → 87.4）、Place Wine（88.0 → 96.2）、Place Cups（58.4 → 65.6）。

疑点表 1 的标注和名次

Turn Tap 一列 ActiveVLA 是 95.3，低于 3D Diffuser Actor 的 99.2 和 RVT-2 的 99.0，排第 3，表里却按第一名标红加粗。图注说"10 个任务第一"；按表中数字，ActiveVLA 独占第一的有 11 个，与别人并列第一的有 6 个。平均名次 1.22 也复现不出来：并列取最小名次算出 1.11，取平均名次算出 1.42。18 个任务的算术平均是 91.88，表里写 91.8。

COLOSSEUM（表 2）

14 个扰动场景，三个最强方法

表 2 的 14 列，柱顶只标 ActiveVLA，其余悬停可见。Avg. SR：RVT-2 56.7、BridgeVLA 64.0、ActiveVLA 65.9。

RVT-2BridgeVLAActiveVLA

原表数字（表 2，全部 7 个方法）

ActiveVLA 在 14 列中的 13 列第一，Distractor（加干扰物）一列 54.3 低于 RVT-2 的 60.8。平均名次 1.07 和表中数字一致。"全部扰动"同时开启时三者都很低（15.6 / 18.7 / 21.4）。论文把最好的两列 Table Color 78.3、Camera Pose 76.3 拿出来说"在杂乱、干扰物和视角变化下仍保持高精度"；引言里"COLOSSEUM 上达到最高成功率 78.3%"说的其实是 Table Color 这一列，平均值是 65.9。

疑点同一个模型，两套 COLOSSEUM 数字

附录表 6 给了 ActiveVLA 在 20 个任务上的逐项结果，末行 Task Mean 和我们按逐任务数字重算的均值一致，但和正文表 2 对不上，表 2 每一列都更高。展开下面的对照表看逐列差值。

表 2 与附录表 6（Task Mean）逐列对照

GemBench（表 3）

四级泛化

L1–L4 依次为新摆放位置、新刚体物体、新铰接物体、新长时程任务（GemBench 原基准的分级，本文没有写明）。琥珀色越浓，成功率越高。

ActiveVLA 平均 51.3，比 BridgeVLA 高 1.3 个点；L2、L3 第一。L1 低于 3D-LOTUS（92.4 vs 94.3），L4 只有 1.2，3D-LOTUS++ 是 17.4。论文承认"在最难的 L4 上表现下降"。

真机（附录表 5）

4 个强遮挡任务

每格为均值，括号外的 ± 见原表；每任务试验次数未披露。

Diffusion PolicyVPPTriVLARVT-2ActiveVLA

原表数字（表 5）

疑点真机总成功率 91.8 还是 96.3

表 5 的 Overall 是 91.8，等于四个任务的平均（92、95、91、89）。附录正文却写"overall success rate of 96.3%"。正文对 TriVLA 的逐任务领先幅度（+24、+41、+29、+17）与表中数字一致。另外 91.8 恰好和 RLBench 平均值相同。

原文图 4：四个真机任务的执行过程，每行四帧 — **原文 Figure 4**四个真机任务，每行四帧：拿起被其他水果挡住的香蕉放到蓝盘上；从杯架上拿下被架子挡住的紫杯；拿起被其他方块挡住的红块叠到绿块上；从抽屉里拿出被挡住的粉色毛巾。照片是固定第三人称视角，看不到任何虚拟视图，论文没有展示真机上选出的视角和放大图。

组件消融（表 4）

成功率 vs 单步推理时间

三个点依次为：固定视图 → 加 A-VS → 再加 A-3Z。单卡 H100。表注写"100 次试验"，正文写"per trial"的推理时间。

原表数字（表 4）

RLBench 上，A-VS 带来 +1.8，A-3Z 再 +2.4，合计 +4.2，时间从 0.26 s 到 0.53 s（约 2.0×）。COLOSSEUM 合计 +2.3（时间 1.9×），GemBench 合计 +2.4（时间 2.8×）。作者的结论是"A-VS 决定往哪儿看，A-3Z 决定看多近，构成层次化感知"。

解读"固定视图基线"其实就是自己复现的 BridgeVLA

ActiveVLA 用的是 BridgeVLA 的骨干和预训练权重，去掉两个主动模块后的 87.6 / 63.6 / 48.9，略低于 BridgeVLA 论文报告的 88.2 / 64.0 / 50.0（ActiveVLA 表 1–3 里引用的数）。和这组报告值相比，ActiveVLA 的净增益是 +3.6 / +1.9 / +1.3 个点。消融只做了"加 A-VS"和"两者都加"，没有"只加 A-3Z"。

超参数（原文 Figure 5）

选几个视点、放大几倍

RLBench 平均成功率。数字由矢量图 pdftotext 读出（原图柱顶/点旁标注）。

图中数字

视点数从 1 增到 3，成功率从 82.2 升到 91.8，再多就饱和（4 个 92.0，6 个 91.8）。放大倍数 1 到 4 单调上升，之后回落。作者据此固定 K = 3、z = 4。z = 1 时的 89.4 和表 4 里"只加 A-VS"一致。

解读1 个主动视图不如 3 张固定图

只选 1 个视点时是 82.2，比完全不做主动感知的固定视图基线（87.6）还低 5.4 个点。这说明"选得好"替代不了"看得多"：固定基线用几张图论文没写，按粗阶段推测是三张正交图。"主动"的增益只有在视点数不少于 3 时才显现。

定性结果（原文 Figure 3）

原文图 3：四个仿真任务的四个阶段：正交投影、预测热图、主动选择的虚拟视图、放大后的虚拟视图 — **原文 Figure 3**四个 RLBench 任务（扫灰到高簸箕、把巧克力果冻放进橱柜、把 3 个杯子放到杯架、把鸡肉从烤架上拿下）。每格虚线左边是粗阶段：(a) 三张正交投影，(b) 预测热图；右边是精阶段：(c) 主动选择的三张虚拟视图，(d) 放大后的虚拟视图。(d) 行能清楚看到放大后点云变稀、点间出现缝隙；"3 cups"一格放大后几乎只剩杯架的点阵轮廓。

读懂它

这篇真正说明了什么

关键 insight

1. 改的是"VLM 看到的像素"，不是模型结构

骨干、热图头、动作头都沿用 BridgeVLA 式设计。新东西是两个没有参数的几何模块，决定送进 VLM 的图从哪个视点、以多大视场角渲染。这是一个纯粹的上下文层改动：同一个模型，换一套取景规则，RLBench 上多 4.2 个点。

2. 增益 2–4 个点，代价是推理时间翻倍

A-VS +1.8 / +0.9 / +0.5，A-3Z +2.4 / +1.4 / +1.9（RLBench / COLOSSEUM / GemBench）。单步时间 0.26 → 0.53 s、0.33 → 0.62 s、0.21 → 0.59 s。按关键帧执行时每步多 0.3 s 问题不大，换成高频闭环控制就是另一回事。

3. 视点数比视点选法更要紧

1 个主动视图 82.2，低于 3 张固定图的 87.6；3 个主动视图 91.8。打分函数按字面又退化成只看可见性（见疑点），可以合理怀疑：增益里有多少来自"选得聪明"，有多少来自"围绕关键点、从不被挡的方向多看几眼"。论文没有"随机挑 3 个可见视点"的对照。

4. 放大有甜点

z = 4 最好，z = 6 回落 0.9 个点。原因是视野变窄丢上下文，再加上点云变稀。它和 RVT-2 式粗到精放大的思路一致，只是改在透视视图上做。

容易误解的地方

"主动感知"不是移动相机。物理相机全程不动，所有新视角都是对已有点云的重渲染（图 1 图注：virtual cameras）。它解决不了"所有相机都没拍到"的遮挡。
选视角这一步不学习。只有关键点 p_f 来自学到的热图；"从哪看"由固定公式算出，权重 w 是手设的超参数（数值未披露）。
动作是关键帧位姿，不是连续控制。每个关键帧完整跑一遍"粗阶段 → 选视角 → 放大 → 精阶段"；0.53 s 是每次推理的时间。
不是全面领先。RLBench 的 Turn Tap 低于 3D Diffuser Actor 和 RVT-2；COLOSSEUM 的 Distractor 低于 RVT-2（54.3 vs 60.8）；GemBench 的 L1 低于 3D-LOTUS（92.4 vs 94.3），L4 远低于 3D-LOTUS++（1.2 vs 17.4）。
仿真里没有和通用 VLA 比。三个仿真基准的对比对象都是关键帧式 3D 策略（RVT、BridgeVLA 等）和少量 2D 基线；真机比了 Diffusion Policy、VPP 和同团队的 TriVLA。π0、OpenVLA 一类模型都没有出现。

FAQ

虚拟视角到底能不能解决遮挡？

能解决一部分。RLBench 有 4 台标定相机，融合后的点云里，目标被前景挡住常常只是因为默认渲染方向不好，换个方向渲染就能露出来，这正是可见性打分在做的事（射线检测用的是观测点云 𝒮）。但如果某块区域没有任何一台物理相机拍到，点云里就没有它，虚拟视点也看不到。真机正文只有一台固定 D455，按这个设置，换视点后目标背面应该是空洞；论文没有展示真机的虚拟视图，没法判断实际效果。

3D zoom-in 和直接裁剪 2D 图像有什么区别？

裁剪再缩放会插值模糊；对点云缩小视场角重渲染，每个点按原始 3D 坐标投影，不存在插值，而且能保持正确的遮挡顺序。但两者能提供的信息量都受限于原始观测：点云重渲染的代价是点间距跟着放大，图上出现缝隙（图 3 第 (d) 行）。论文说"没有几何损失"，指的是坐标精度不损失，不等于细节变多。

和 BridgeVLA 的差别到底多大？

同一个骨干、同一份预训练权重、同样的热图到 3D 平移框架。和 BridgeVLA 论文报告的数字比，ActiveVLA 多 3.6（RLBench）、1.9（COLOSSEUM）、1.3（GemBench）个点；和自家复现的固定视图版本比，多 4.2、2.3、2.4 个点。真机没有比较 BridgeVLA。

多样性项为什么会是常数？

测地球面上的候选两两关于球心对称。对任一方向 v，另一个方向 u 和它的对径方向 −u 与 v 的夹角之和恒为 π。把 M 个候选按对径配对后求和，每个候选的 S_div 都是 πM/2。这一项要起作用，候选集必须不对称（比如只取上半球、只取可见候选），或者改成"相对已选视点"的贪心计算。论文没说采用了哪一种。

"假设检验"体现在哪里？

论文把选视角称为 hypothesis testing strategy，但方法里没有显式的假设、概率或信息增益计算：每个候选算一次可见性、距离和多样性，加权排序取 top-K，一步完成，不根据看到的结果再修正。这更接近一个基于几何的启发式视点规划。

局限与疑点

作者承认的，和我们读出来的

论文自己提到的

GemBench 最难的 L4（新长时程任务）只有 1.2%。
视点数超过 3 个后成功率饱和，计算量继续增加。
放大倍数过大会降低上下文感知。
论文没有单独的局限性章节。

我们读出来的

疑点打分函数按字面退化：完整球面上距离项、多样性项对所有候选是常数，排序只剩二值可见性；公式 (4) 的顶点数也对不上标准细分。
疑点虚拟视点的信息上限就是已观测点云。真机若只有一台 D455，视角选择能补的有限；论文没给真机的虚拟视图。
疑点真机平台两套说法（Kinova + D455 eye-to-hand vs Franka + 腕部 + 两台固定相机）；照片里的机械臂外形是 Kinova。
疑点真机总成功率表 5 写 91.8，正文写 96.3；每任务试验次数未披露；真机没比较最直接的基线 BridgeVLA。
疑点COLOSSEUM 两套数字（表 2 vs 附录表 6），表 2 每列都更高；"与 RLBench 相同的任务"和附录任务清单不符；引言的 78.3% 是单列数字。
疑点表 1 的 Turn Tap 标注错误、"10 个任务第一"、平均名次 1.22 复现不出。
疑点训练描述自相矛盾：冻结 SigLIP 和词嵌入（暗示主干在训）vs "只更新动作头和两个模块"（后两者没有参数）；GPU 数 8 vs 16 / 32。
试验次数口径不一：RLBench "五次试验"，表 4 "100 次试验"。
精阶段输入几张图、全局 token 取自哪组视图、放大视图是替换还是追加，都没写清。
放大公式用 tan(α/2z) 而非 tan(α/2)/z，不是标准的焦距变焦（差别不大，但说明式子没有仔细推导）。
附录图注与图不符：图 6 说 18 个任务只画了 12 个；图 7 正文列 5 个直接操作任务，图里只有 4 个。
没有"随机选 K 个可见视点"或"固定方向放大"这类对照，无法把增益归因到打分规则本身。

放到专题里看

"看什么"这一类里，它管的是像素层面的取景

在 Harness for Robotics 专题里，ActiveVLA 属于 Context Architecture：它改的是模型每一步看什么，不改模型记住什么。具体形式是重渲染出来的虚拟视图，作为图像 token 进入 VLM 输入；每个关键帧从头计算，不跨步保留任何状态。同类另外两篇改的是另外两个维度：RA-VLA 往上下文里塞外部示范，TIC-VLA 处理语义上下文的时间戳。

	ActiveVLA	RA-VLA	TIC-VLA	SOMA（跨类对照）
类别	Context · 视觉选择	Context · 检索	Context · 时序对齐	Memory · 空间记忆
改的是什么	当前观测的取景：视点 + 视场角	额外放进来的外部专家示范片段	语义上下文"是哪个时刻的"：延迟的 VLM 状态 + 延迟量	跨步保留的物体级场景记忆
进入策略的形式	重渲染的虚拟视图 → VLM 图像 token	预编码缓存的片段特征，按相关度逐层接到动作头的交叉注意力；初始噪声换成检索片段的平均动作块	VLM 最后一层 KV cache + Δt + 自身位姿偏移，作为动作专家交叉注意力的 key/value	记忆 token（DINOv3 外观 + 3D 框位置编码），VL token 经交叉注意力读取
选择依据	手写几何打分（可见性、距离、多样性），关键点来自学到的热图	学到的检索器（DTW 对齐 + 对比学习），余弦相似度取 top-K	不挑，用最近一次完成的推理	检测器找不到目标时，头部相机按预设路线扫描建库
相机是否真的动	否，虚拟视点	—	—	是，2-DoF 云台头部相机
跨步状态	无	示范库固定，不随执行更新	只缓存最近一次 VLM 输出	有，随新观测持续融合
训练	每个基准微调 BridgeVLA 骨干	训练检索器并微调策略（VLM 冻结），新任务免训练	VLM SFT → 注入延迟的模仿学习 → PPO	除 VLM 语言解码器外全部参与训练，真机每任务 400 条示范
场景	桌面 3D 操作，关键帧动作	LIBERO、UR5e	动态环境导航	人形双臂，目标初始不在视野内

和 RA-VLA：都是"从候选池里挑 top-K 放进上下文"，一个挑示范，一个挑视角。RA-VLA 的挑选器是学出来的（让行为相近的片段在嵌入空间里靠近），ActiveVLA 的是手写几何式子，而且按字面推导只剩可见性在起作用。
和 TIC-VLA：TIC-VLA 处理上下文"什么时候"的问题，ActiveVLA 处理"从哪儿看、看多近"。TIC-VLA 让慢推理和快控制异步；ActiveVLA 完全同步，粗阶段、选视角、精阶段串行跑完，多出的时间直接算进单步推理（0.26 → 0.53 s）。
和 SOMA（跨类）：动机最接近，都是"目标看不见"。SOMA 真的转动头部相机去拍，把结果写进持久记忆；ActiveVLA 不动相机，只在已有点云里换视点，也不跨步保留。前者能看到新东西，扫描路线却是预设的；后者的视点围绕任务相关的关键点挑，但看不到没拍过的地方。
和 MemoryVLA、OptimusVLA、HiMe：点到为止。ActiveVLA 每步独立，没有记忆。这三篇分别在感知/认知 token 记忆库、检索轨迹先验加历史动作一致性、分层的文本 + 图像情节记忆上做文章，解决的是"当前观测不够、需要历史"的问题，和本篇"当前观测没看好"是两回事。
和（3）结构化执行、（4）评估与反馈两类：和 ACoT-VLA 一样，都是同一个模型先粗后细跑两遍：ActiveVLA 第一遍用热图定出「看哪儿」，ACoT 第一遍用 EAR 去噪出一段 15 点的粗参考轨迹，定下「大概怎么动」；两者都串行执行，多出的时间直接算进单次推理（ActiveVLA 在 RLBench 上 0.26 → 0.53 s，ACoT 91 → 112 ms，硬件不同）。MotorMind 也是先定位再凑近：VLM 在图上画框、多个固定相机三角化，近距离换腕部相机细化；它的失败分析里，VLM 决策错误最多的一类就是定位。解读这从零样本一侧说明「看哪里、看多清」值得单独设计，但 MotorMind 用的是不训练的通用 VLM，和 ActiveVLA 微调过的热图定位不能直接比。

术语表

读这篇会遇到的词

展开术语表

active perception: 主动感知：按任务需要决定从哪里、以多大分辨率观察。本文在渲染空间里实现，物理相机不动。
keyframe: 关键帧：PerAct / RVT 一系把轨迹压缩成少数关键位姿，策略只预测下一个关键位姿，中间由运动规划补齐。
orthographic projection: 正交投影：平行光线投影，没有近大远小。粗阶段用顶、前、右三个方向。
p_f: 粗阶段热图反投影得到的关键 3D 点，球面候选以它为球心。
convex upsampling: 凸上采样：每个高分辨率像素由低分辨率邻域的凸组合得到，组合权重由网络预测。
geodesic sampling / icosphere: 测地采样：从正二十面体出发反复细分三角形并投影到球面，得到近似均匀的球面点集。
look-at: 用相机位置（eye）、注视点（target）和上方向（up）确定相机姿态。
Z 标准化: 减均值除以标准差。常数列的标准差为 0，标准化没有定义。
FoV / z: 视场角 / 放大倍数。本文的放大把视场角从 α 变成 α/z，实验取 z = 4。
A-VS / A-3Z: Active View Selection / Active 3D Zoom-in，本文的两个主动感知模块。
amodal: "非模态"：指物体被遮挡部分也算在内的完整形状。论文说视角选择要"最大化 amodal 相关性"，即尽量看到目标全貌。
BridgeVLA: 把 3D 点云渲染成 2D 图、让 VLM 输出 2D 热图再抬升到 3D 的 VLA，本文的骨干来源。
RVT / RVT-2: 多视图虚拟渲染 + Transformer 的 3D 操作策略，RVT-2 有粗到精的放大重渲染。
PaliGemma: SigLIP 视觉编码器 + Gemma 语言模型组成的 VLM。
COLOSSEUM: 在 RLBench 上系统加入 12 类视觉与几何扰动的鲁棒性基准。
GemBench: 基于 RLBench 的分级泛化基准，L1 新位置、L2 新刚体物体、L3 新铰接物体、L4 新长时程任务。