自蒸馏绝对深度估计模型

单目误差低于1.9 mm

无需标注与额外成像，仅凭单目内窥镜图像与机器人运动学数据即可恢复真实尺度深度，优于现有双目方法。

Wei, Ruofeng · 李斌 · Zhong, Fangxun · Mo, Hangjie · 窦琪 · Yunhui, Liu · 孙东

IEEE Transactions on Automation Science and Engineering 2024

参数信息

绝对深度误差

1.90 mm

技术优势

绝对深度误差低于1.9 mm

在SCARED公开数据集和尸体实验上均优于先前最优方法，包括双目方法，为手术导航提供高精度距离信息。

不依赖人工标注或额外成像

利用自监督学习和机器人运动学自动生成伪绝对深度标签，摆脱了对昂贵的手工标注和其他成像模态的依赖。

跨内窥镜泛化

网络联合学习内窥镜内参，无需针对每台设备重新标定，可直接适应不同内窥镜。

应用场景

• 手术机器人导航：为手术机器人提供真实尺度的深度图，用于自动导航和器械定位。
• 内窥镜深度感知：将单目内窥镜的深度感知从相对尺度提升到绝对尺度，无需额外传感器。
• 机器人视觉感知：融合机器人运动学与视觉，使机器人获得可实际控制的距离信息。