Seg2Reg布局网络

2D分割驱动精确深度

一种可微分的2D分割到1D回归渲染网络，将2D布局分割的优势与1D深度回归相结合，在保持遮挡感知能力的同时，无需后处理即可直接从全景图重建出精确的房间布局。

Cheng, Sun · Wei-En, Tai · Yu-Lin, Shih · Kuan-Wei, Chen · Yong-Jing, Syu · Kent Selwyn, The · Wang, Yu Chiang Frank · Chen, Hwanntzong

2024

参数信息

PE

2.26 %

IoU

91.60 %

相对提升

24.8 %

技术优势

无需后处理得到布局多边形

通过可微渲染直接从二维分割图回归一维深度，避免了传统分割方法中复杂的后处理步骤，同时保持遮挡感知能力。

能处理遮挡区域

采用二维分割表示，天然能够处理被家具等遮挡的墙面区域，避免了纯一维回归方法在遮挡处的失效。

应用场景

• 室内场景理解：为场景理解提供精确的房间几何结构，支撑物体定位与场景解析。
• 机器人导航：提供可通行区域和房间边界，帮助机器人规划路径并避开障碍。
• 三维建模：从单张全景图直接生成房间3D模型，省去手动建模步骤。
• 增强现实：实时估计房间布局，用于AR中的虚拟物体遮挡和物理交互。
• 数字孪生：自动构建室内场景的数字孪生几何底座。