多模态手势识别网络

复杂环境稳健识别

动态融合RGB和深度数据的双分支网络，自适应调整模态权重，显著提升手势识别在真实场景的精度和鲁棒性。

齐静 · Ma, Li · 俞玉树

IEEE Robotics and Automation Magazine 2025

技术优势

动态调整权重

根据模态重要性动态调整融合权重，适应复杂交互关系，避免静态融合的性能下降。

多尺度特征提取

采用多尺度门控机制提取多尺度特征，增强网络对细节的捕捉能力。

实际部署验证

已成功应用于真实操作环境中的机器人，证明其在实际场景中的有效性。

应用场景

• 人机交互：让机器人实时、准确地理解人类手势指令，无需穿戴设备。
• 机器人操作：为机器人操作提供鲁棒的手势控制接口，适应真实光照条件。
• 手势识别：直接提升手势识别精度，尤其是复杂背景和光照变化下。
• 多模态感知：展示RGB与深度模态的有效动态融合，克服单一模态局限。