模型融合多模态网络

骨架引导RGB

通过骨架注意力权重迁移到RGB模态，实现互补特征融合，提升动作识别准确率。

Yu, Bruce X.B. · 刘艳 · Zhang, Xiang · 钟圣华 · Chan, Keith C.

IEEE Transactions on Pattern Analysis and Machine Intelligence 2023

参数信息

评估协议数

6

数据集数目

5

技术优势

互补特征融合

骨架和RGB分支通过注意力权重迁移共享判别信息，模型能够捕捉两种模态的互补特征，而不是简单平均预测分数。

跨数据集泛化

在室外RGB视频数据集Kinetics 400上的实验结果与RGB-D数据集一致，表明该模型对室内外环境均具有适应性。

应用场景

• 人体动作识别：提升动作识别准确率，替代单模态方法。
• 多模态感知：融合骨架与RGB互补特征，增强感知鲁棒性。
• 视频监控：在监控视频中更准确地识别异常动作。
• 人机交互：提供更准确的动作识别，改善交互体验。