物理级主动立体仿真器

零微调迁移真实感

一个基于物理的主动立体深度传感器仿真管线，能够实时生成与真实传感器错误模式一致的高保真深度图，直接为机器人算法训练和评测提供可信测试环境。

Zhang, Xiaoshuai · 陈瑞 · Li, Ang · Xiang, Fanbo · Qin, Yuzhe · Gu, Jiayuan · Ling, Zhan · Liu, Minghua · Zeng, Peiyu · Han, Songfang · Zhiao, Huang · Mu, Tongzhou · 徐静 · Su, Hao

IEEE Transactions on Robotics 2023

技术优势

误差模式真实

通过材质采集和基于光线追踪的红外渲染，仿真深度图的误差分布与真实传感器一致，尤其是在不同材质表面上的表现，使算法训练更贴合实际。

无需微调迁移

在仿真中训练的感知算法和强化学习策略可直接迁移到现实世界测试用例，无需任何微调，大幅节省了真实数据采集和调试成本。

实时模拟

整个仿真管线实时运行，能够快速生成大量训练数据，支持强化学习等需要大量交互的算法。

开源集成

整个管线已集成到 SAPIEN 仿真器并开源，方便研究人员直接使用和扩展，促进视觉与机器人社区的研究。

应用场景

• 机器人感知算法训练：生成海量带真实误差的深度图，训练目标检测、分割等算法。
• 机器人强化学习策略迁移：在仿真中训练强化学习策略，直接部署到真实机器人上。
• 具身智能仿真到现实迁移：提供高保真深度输入，缩小仿真与现实的感知差距。
• 深度传感器评估：作为测试平台评估算法在真实传感器上的性能，减少开发成本。