识别精度提升近10%
通过跨模态注意力交互策略,充分捕捉可穿戴传感器与智能手机数据间的模态相关性,获得更有效的融合表示,从而提升人类活动识别准确率。
Xin, Yang · Zeju, Xu · Haodong, Liu · Shull, Pete B. Bradley · Redmond, Stephen J. · Liu, Guanzheng · Wang, Changhong
IEEE Internet of Things Journal 2024
跨模态交互融合策略根据模态间相关性动态调整各模态特征,捕获了以往方法忽略的互补信息,使得识别准确率相比现有策略提升1.87%至9.96%。
多尺度并行卷积模块从每种模态中提取多个时间尺度的特征,能够同时捕获短时动作细节和长时运动模式,增强了特征表示能力。
混合注意力模块聚焦融合后表示中的重要信息,抑制交互融合带来的冗余成分,使得最终表示更加紧凑且判别力更强。