视听融合声码器

噪声下听清

将视觉线索与电刺激编码联合优化，让植入者在嘈杂环境中获得更清晰语音。

Lin, Hong-Ping · Huang, Jia Hsin · Chien, Shao-Yi · Tsao, Yu

JASA Express Letters 2026

参数信息

信号误差比提升

7.4666 dB

技术优势

信噪比提高 7.4666 dB

通过视听联合训练，系统能更准确地从噪声中恢复目标语音，相较于先进的组合编码器策略，信号误差比明显改善。

客观可懂度高

仿真实验表明，系统达到较高的客观语音可懂度指标，验证了视听信息融合对语音清晰度的促进作用。

应用场景

• 人工耳蜗语音增强：给现有声码器加视觉前端，替掉纯声学抗噪的瓶颈
• 多模态感知：用唇动视觉信息补足听觉，实现跨模态感知融合
• 听力康复设备：让耳蜗设备在嘈杂环境中依然能传递可懂语音
• 神经接口信号处理：把多模态信号融进神经编码，提升电刺激的有效信息量