多粒度手术场景理解网络

粗精信息双向增强

一个轻量级深度学习框架，通过共享特征提取和任务专用解码器，同时感知手术阶段、步骤、器械分割和动作三元组，实现多层次粒度信息的相互补偿与增强。

Chu, Guangdi · Gao, Yuan · 焦巍 · Guipeng, Wang · Zhang, Pengfei · Han, Xu · 王建宁 · 王树新 · 董蒨 · 牛海涛 · 李建民

International Journal of Surgery 2025

参数信息

数据集帧数（阶段与步骤标注）

141443

器械分割标注帧数

8435

动作三元组标注帧数

25305

出血风险预测模型组合数

123

技术优势

全粒度信息双向增强

在同一框架内共享特征，使阶段识别为器械分割提供上下文，动作三元组反过来细化步骤推理，从而整体提升各子任务精度。

轻量级可部署

框架设计为轻量级，通过共享特征提取和任务专用解码器降低计算开销，便于在手术室设备上部署。

能预测出血风险

基于全粒度特征，模型可识别与肾动脉、肾静脉和输尿管等关键解剖结构相关的手术步骤，作为出血风险的重要预测因子。

自动生成手术报告

术后自动报告系统能准确提取关键手术时间点和具体操作时长，减少人工记录负担。

应用场景

• 手术机器人智能辅助：实时识别手术步骤和器械，辅助机器人系统在关键操作时提供导航或自动执行子任务。
• 手术场景感知：将阶段、步骤、器械和动作统一为结构化感知，支持手术场景整体建模。
• 医疗AI决策：基于全粒度特征预测出血风险，为术中决策提供数据支撑。
• 术中风险预警：识别关键解剖结构相关步骤，在术中实时发出出血风险预警。