正交解缠音频编解码器

音色韵律音素可分离

通过正交约束和互信息最小化，将音色、韵律和音素信息解耦为独立可控制的隐变量，重构质量与现有高端编解码器相当。

Qian, Yukun · Wenjie, Zhang · 张泽华 · Zhuang, Xuyi · 王明江

Neural Networks 2026

技术优势

显式解耦属性

引入多阶段正交解耦网络，显式分离音色、韵律和音素信息。

信息论约束促独立

利用互信息估计器最小化属性组件间及内部的互信息，促进独立分解。

帕累托平衡优化

采用平滑的 Tchebycheff 优化策略，在重构保真度和解耦目标间取得帕累托最优平衡。

应用场景

• 语音合成：解耦的音素、韵律和音色代码可独立操控，合成更可控。
• 语音转换：分离后的音色表征可跨说话人迁移，支持零样本转换。
• 语音编码：解耦隐码在保持重构质量的同时，提供可解释的编码表示。
• 多模态表征学习：正交约束和互信息最小化为多模态表示中的因子解耦提供新思路。