多流信息共享手语识别网络

三模态精度刷新

同时利用关节、骨骼和角度特征,通过多层级信息共享,在三个主流手语数据集上刷新了单模态方法的最佳精度。

Zhiwen, Deng · 冷雨泉 · Junkang, Chen · Yu, Xiang · Yang, Zhang · 高庆

Neurocomputing 2024

参数信息

识别准确率
56.4 %
识别准确率
96.62 %
识别准确率
65.13 %

技术优势

三种特征同时用

将关节特征对与全局特征、骨骼特征对与局部特征、角度特征对与尺度不变性结合,输入信息更丰富。

信息共享更充分

基于多流结构设计多层级信息共享机制,确保骨架特征信息被充分利用。

三个基准都比赢

在 WLASL-2000、AUTSL、MSASL 三个使用单一模态输入的公开数据集上,准确率均超过现有最佳方法。

应用场景