人本多模态融合网络

通过骨骼引导将深度、RGB与光流转换为以人为中心的图像，该多模态融合网络在细粒度动作判别和跨视角识别上显著增强了骨骼基方法的鲁棒性。

Zesheng, Hu · Jian, Xiao · Le, Li · Cun, Liu · Ji, Genling Lin

Expert Systems with Applications 2024

技术优势

细粒度动作分得清

融合深度、RGB和光流模态，以人体关键点为指导生成以人为中心的图像，提供人与物体交互信息。

跨视角鲁棒

通过多模态融合增强视角不变性，在变化视角下仍能准确识别动作。

推理速度快

网络在保证性能的同时实现快速推理，适合实时应用。

应用场景

• 人机协作：机器人在协作中实时识别人体动作，避免误判，提升交互安全性。
• 外科手术动作分析：在手术场景中区分精细操作步骤，辅助手术流程记录和技能评估。
• 康复训练评估：对康复训练动作进行客观量化评估，跟踪患者恢复进展。
• 意图识别：通过动作细节预测人的操作意图，提前响应避免延迟。
• 智能体交互：智能体理解人类动作语义，做出恰当反应，提升交互自然度。