Real-is-Sim
Bridging the Sim-to-Real Gap with a Dynamic Digital Twin
- 做法
- 以作者前作 Embodied Gaussians 为数字孪生：物理用刚体（球形碰撞体），外观用 3D 高斯，渲染图与真实 RGB 的光度误差转成作用在物体上的视觉力，60 Hz 同步。flow matching 行为克隆策略只读仿真导出的表征（物体位姿或虚拟相机渲染图），输出仿真机器人的关节轨迹和任务进度；真机跟随仿真机器人的实际关节。关掉真机跟随和视觉力就是可并行的离线环境。
- 结果
- PushT、一台 Franka，每格真机 60 次。离线与真机评估对 4 个检查点排序一致；针对失败状态补 30 条仿真示范，56.7% → 80.0%（多收 30 条真机示范 76.7%）；虚拟腕部相机 81.7%，真实相机图像基线 61.7%。
- 疑点
- 离线「成功」由策略自己预测的进度 > 0.9 判定，绝对值与真机最多差约 8 个点。只有一个准静态任务，没有和其他 sim-to-real 方法比；几组关键对比在 95% 置信区间内分不开；表征实验的示范数未披露。