手术期识别Transformer模型

自动识别手术阶段

该模型利用视觉特征提取和时间关系建模，实现对腹腔镜胃癌手术视频中八个手术阶段的自动准确识别，可直接用于手术流程分析与术中决策支持。

Zhai, Yuhao · Zheng, Zhi · Yan, Xiaosheng · Liu, Xiaoye · 尹杰 · Wang, Jingqiao · Zhang, Jun

International Journal of Computer Assisted Radiology and Surgery 2023

参数信息

准确率

90.128 %

F1分数

87.04 %

召回率

87.04 %

精确率

87.32 %

技术优势

自动识别八阶段

模型将腹腔镜胃癌手术视频分为八个阶段（P0至P7），无需人工逐帧标注即可自动输出阶段标签。

准确率超九成

模型在手术视频上达到90.128%的准确率，能够可靠地识别手术阶段，减少人工审核工作量。

融合时序信息

通过时间关系Transformer建模阶段间的时间依赖，利用视频上下文提高识别精度。

应用场景

• 手术流程分析：自动标注手术阶段，替代人工逐帧审阅，加速手术视频的流程分析。
• 术中决策支持：实时识别当前手术阶段，为术中导航和关键步骤提醒提供输入。
• 医疗视频理解：将手术视频转化为结构化阶段序列，便于智能检索和教学。