自定进度手语识别网络

三模态融合精度高

首个将自定进度学习引入手语识别的方法,融合Transformer与图卷积,在不增加算力下大幅提升准确率。

任亚洲 · Hongkai, Li · Yuhao, Li · Jingyu, Pu · 蒲晓蓉 · 敬思远 · 金澎 · He, Lifang

Expert Systems with Applications 2025

参数信息

数据集规模
10000 video samples
数据模态
3 modalities

技术优势

精度显著提升

多模态自定进度方法在ISW-1000数据集上显著超越现有单模态和多模态方法。

不增加算力

利用Transformer和图卷积网络的集成融合,在不增加计算复杂度的情况下提升精度。

新数据集可用

发布ISW-1000数据集,包含1000个孤立中文手语词、10000个视频样本,由10位聋人及听障人士在统一环境下录制,含RGB、光流、骨架多种模态,并已公开。

应用场景