低秩唇读适配器

少参数适配新说话人

针对唇读模型跨说话人性能下降的问题，提出一种基于时空信息学习的参数高效微调方法，仅用少量参数即可达到最优性能。

Yi, He · Yang, Lei · Hanyi, Wang · Zhu, Yun · 王士林

2024

技术优势

适配新说话人成本低

仅微调少量参数即可适应新说话人的唇形和语速等特征，无需重新训练整个模型。

时空信息联合学习

通过低秩适配模块影响全局空间特征，时间自适应权重学习模块捕捉说话风格，中间增加Adapter进一步增强学习能力。

应用场景

• 无声语音识别：为无声语音识别提供高效个性化适配，提升新用户的识别准确率。
• 辅助沟通系统：帮助辅助沟通系统快速适配不同用户，减少训练数据需求。
• 人机交互：在人机交互中，让机器人更准确地理解新用户的唇语指令。
• 多模态感知：作为多模态感知中的视觉语音模块，提高对说话人变化的鲁棒性。