事件引导连续手语网络

低光高速也清晰

引入事件相机的第一个连续手语识别网络,用时间冗余校正与跨注意力融合轨迹和外观,在复杂场景下性能显著提升。

Yu, Jiang · Yuehang, Wang · Li, Siqi · Yongji, Zhang · Qianren, Guo · Qi, Chu · Gao, Yue

IEEE Transactions on Multimedia 2024

技术优势

低光下也能看清

事件相机在低光照环境下仍能高效记录高速手语动作,弥补传统相机的信息不足。

高速动作不丢轨迹

事件相机能够捕捉高速运动中的精确轨迹,消除运动模糊问题。

聚焦手部关键特征

时间冗余校正模块去除时间序列中的冗余信息,引导模型关注判别性特征。

融合两种模态优势

多模态交叉注意力模块促进事件流和帧域之间的信息融合,提升模型性能。

应用场景