多模态图表示网络

手术流程识别更稳

利用对抗特征解耦，该网络能应对手术场景中的遮挡和数据损坏，保障流程识别可靠。

Long, Bai · Boyi, Ma · Ruohan, Wang · Wang, Guankun · Beilei, Cui · Jiang, Zhongliang · Islam, Mobarakol · Min, Zhe · Lai, Jiewen · Navab, Nassir · Ren, Hongliang

Information Fusion 2025

参数信息

准确率

86.87 %

准确率

92.38 %

技术优势

遮挡下仍精准

融合视觉与运动学数据，通过图消息建模捕捉细粒度视觉信息，克服不良条件下视觉识别的局限。

存储损坏不崩

上下文校准解码器注入时序与上下文先验，增强对领域偏移和数据损坏的鲁棒性，实验证实其在存储与传输损坏下具有优异稳定性。

跨模态特征对齐

视觉-运动学对抗框架利用对抗训练减小模态差距，提高特征一致性，从而增强整体识别可靠性。

应用场景

• 手术流程自动化：自动识别手术阶段，减少人工记录并提高标准化。
• 手术培训评估：客观评估学员操作流程，无需人工标注即可反馈。
• 机器人辅助手术：为机器人提供实时流程识别，适应遮挡和噪声。
• 医疗机器人控制：识别结果可辅助机器人控制决策，提升安全性。