多尺度跨模态融合网络

识别精度提升近10%

通过跨模态注意力交互策略,充分捕捉可穿戴传感器与智能手机数据间的模态相关性,获得更有效的融合表示,从而提升人类活动识别准确率。

Xin, Yang · Zeju, Xu · Haodong, Liu · Shull, Pete B. Bradley · Redmond, Stephen J. · Liu, Guanzheng · Wang, Changhong

IEEE Internet of Things Journal 2024

参数信息

准确率提升(与现有融合策略相比)
1.87–9.96 %

技术优势

精度提升近10%

跨模态交互融合策略根据模态间相关性动态调整各模态特征,捕获了以往方法忽略的互补信息,使得识别准确率相比现有策略提升1.87%至9.96%。

多尺度特征提取

多尺度并行卷积模块从每种模态中提取多个时间尺度的特征,能够同时捕获短时动作细节和长时运动模式,增强了特征表示能力。

冗余信息自动抑制

混合注意力模块聚焦融合后表示中的重要信息,抑制交互融合带来的冗余成分,使得最终表示更加紧凑且判别力更强。

应用场景