对比声学预训练语音表征

音素帧级对齐

用对比预训练在音素和语音帧之间建立细粒度联合表征，解决传统语音中间表征的冗余与维度爆炸问题。

Qiang, Chunyu · 72079361 · 75860588 · Fu, Ruibo · Wang, Tao · 王龙标 · 党建武

2024

参数信息

训练数据量

210k

技术优势

降低表示维度

通过帧级对比学习，CTAP避免了传统方法的维度爆炸，得到紧凑的中间表示。

无需大量标注

仅需少量下游标注数据即可微调，实现最低限度监督的TTS、VC和ASR。

帧级跨模态对齐

在音素和语音帧之间建立精确对应，为生成和识别任务提供精细的桥接表示。

应用场景

• 语音表征学习：用帧级联合表征替代传统冗余表示，提升下游任务输入质量。
• 多模态预训练：在音素和语音两种模态间做对比预训练，无需大量成对标注。
• 语音交互机器人：提取的中间表征可加速语音合成与识别，使对话响应更自然。
• 端侧语音识别：紧凑的帧级表示降低计算和存储需求，适合端侧部署。