低光高速也清晰
引入事件相机的第一个连续手语识别网络,用时间冗余校正与跨注意力融合轨迹和外观,在复杂场景下性能显著提升。
Yu, Jiang · Yuehang, Wang · Li, Siqi · Yongji, Zhang · Qianren, Guo · Qi, Chu · Gao, Yue
IEEE Transactions on Multimedia 2024
事件相机在低光照环境下仍能高效记录高速手语动作,弥补传统相机的信息不足。
事件相机能够捕捉高速运动中的精确轨迹,消除运动模糊问题。
时间冗余校正模块去除时间序列中的冗余信息,引导模型关注判别性特征。
多模态交叉注意力模块促进事件流和帧域之间的信息融合,提升模型性能。