类别条件GAN补全网络

跨域补全多类物体

提出一个类别条件生成对抗网络反演框架，利用合成数据学习形状先验，在真实室内场景中一次性补全多类不完整物体。

张振鑫 · Leng, Siyi · 张立强

ISPRS Journal of Photogrammetry and Remote Sensing 2023

参数信息

F-score提升

3.7 percentage points

Chamfer距离降低

4.15

F-score提升

2.0 percentage points

Chamfer距离降低

1.1

技术优势

跨类一次补全

利用单个类别条件GAN学到的多类形状先验，无需为每个物体类别单独建模，直接恢复真实室内场景中的不完整物体。

用合成数据训练

形状先验完全从合成数据域学习，不需要真实残缺物体的标注，也避免了跨域训练时对真实数据的依赖。

F-score 提高

相比 ShapeInversion，F-score 在 ScanNet 上提高 3.7 个百分点，在 CRN 上提高 2.0 个百分点。

Chamfer 距离更低

重建误差更小：Chamfer 距离在 ScanNet 上降低 4.15，在 CRN 上降低 1.1。

应用场景

• 机器人三维感知：补全真实扫描的多类物体几何，让机器人感知更完整。
• 室内场景重建：恢复残缺点云的几何与语义，得到更准确的室内场景重建结果。
• 具身智能环境理解：给具身智能提供完整物体几何，减少环境理解的不确定性。
• 三维点云处理：作为点云补全模块，提升分类、分割、检测、重建等下游任务质量。