跨语言自适应框架CAM

一种面向低资源语言语音识别的跨语言自适应框架，通过相似性感知融合和适配器权重共享，在性能与效率之间取得平衡。

Qing, Hu · 张燕 · Xianlei, Zhang · Zongyu, Han · 74998777

Information Fusion 2024

参数信息

可训练参数占比

5.0 %

相对平均词错误率降低

2.3 %

技术优势

参数少 5 倍

E-CAM 通过平均多个适配器权重得到新适配器，只训练 5.0% 的参数，部署和微调成本大幅下降。

词错误率更低

与全量微调相比，E-CAM 获得 2.3% 的相对平均词错误率降低，识别准确度更好。

能算语言相似度

相似性感知融合模块用点积计算精确的语言相似度，迁移时能更好利用相近语言的知识。

性能效率可调

CAM 提供性能导向（P-CAM）和效率导向（E-CAM）两种变体，可按需选择。

应用场景

• 语音识别系统：用更少参数把低资源语言识别率提到接近高资源语言水平。
• 低资源语言处理：针对数据稀少的语言，在极少标注数据下快速获得可用模型。
• 跨语言迁移学习：利用相似语言间的迁移，避免从头训练，节省计算与人力。