无标记3D追踪网络

零标注合成训练

专为单孔连续手术工具设计，用合成数据训练实现端到端无标记追踪，无需任何人工标注。

Chang, Zhou · 王龙飞 · Wu, Baibo · 徐凯

Advanced Intelligent Systems 2024

参数信息

人工标注数量

0

技术优势

无需人工标注

训练数据完全由基于域随机化的合成数据生成器产生，不依赖任何人工标注。

端到端6-DoF追踪

网络直接估计工具末端执行器的分割与5自由度姿态，结合机器人系统的旋转信息实现完整的6自由度追踪。

姿态进一步优化

通过最大化分割与投影的重叠度对姿态进行区域级优化，提高了估计精度。

应用场景

• 连环手术工具跟踪：实现对无远端关节传感器的连续手术工具的稳定追踪。
• 机器人辅助腹腔镜手术：为单孔机器人腹腔镜手术提供工具3D信息。
• 机器人闭环控制：作为闭环控制中工具位姿的反馈输入。