时空增强手语网络

四数据集领先

通过空间-视觉对齐与帧间差异建模，同时增强手部与表情的判别性特征提取。

Wenjie, Yin · 侯永宏 · Guo, Zihui · Kailin, Liu

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

手型表情更准

通过空间-视觉对齐（SVA）模块，利用目标注释序列进行辅助任务，增强手部和面部表情特征的提取。

捕捉帧间动态

时序特征差异（TFD）模块利用连续帧之间的潜在动态，将聚合的运动信息注入空间特征，辅助短时时序建模。

应用场景

• 手语翻译系统：降低手语识别词错误率，提升翻译准确性。
• 人机交互：识别连续手语动作，支持自然交互。
• 视频行为识别：增强时空特征建模，适用于动作识别。