Cues3D开放词汇分割网络

纯NeRF一致实例

仅依赖NeRF，无需跨视图预关联，即可实现全局一致的3D实例ID。

学风 · Wenzhuang, Xu · Guofeng, Zhong · 明安龙 · Sebe, Niculae

Information Fusion 2025

参数信息

3D实例分割mAP

55.3 %

3D全景分割PQ

45.2 %

3D语义分割mIoU

72.8 %

技术优势

无需跨视图关联

NeRF的隐式3D场天然建立全局一致几何，无需额外预处理就能区分物体。

实例ID全局唯一

通过实例消歧方法匹配NeRF渲染的3D掩码，确保跨视图3D实例身份唯一。

性能超越2D方法

在多个数据集上超越基于2D图像的方法，与最新2D-3D融合方法竞争，甚至在使用额外3D点云时超越。

应用场景

• 3D场景理解：为3D场景理解提供跨视角一致的物体实例身份，支撑更准确的空间推理。
• 开放词汇分割：实现开放词汇的3D全景分割，无需为每个新类别重新训练。
• 神经辐射场应用：将NeRF用于3D分割，为神经渲染提供实例级语义信息。