三模态精度刷新
同时利用关节、骨骼和角度特征,通过多层级信息共享,在三个主流手语数据集上刷新了单模态方法的最佳精度。
Zhiwen, Deng · 冷雨泉 · Junkang, Chen · Yu, Xiang · Yang, Zhang · 高庆
Neurocomputing 2024
将关节特征对与全局特征、骨骼特征对与局部特征、角度特征对与尺度不变性结合,输入信息更丰富。
基于多流结构设计多层级信息共享机制,确保骨架特征信息被充分利用。
在 WLASL-2000、AUTSL、MSASL 三个使用单一模态输入的公开数据集上,准确率均超过现有最佳方法。