翻译质量不打折
该算法将语音分段与翻译模型联合训练,使分段点选择直接服务于翻译质量,从根源上解决传统分段方式损害声学完整性的问题。
张绍磊 · 冯洋
2023
通过期望训练将硬分段转化为可微分操作,分段模块与翻译模型端到端联合优化,能够学习到有利于翻译质量的分段策略。
不再在不利时刻切割语音流,从而保持声学完整性,避免分段不当导致的翻译性能下降。
分段决策从翻译模型内部直接学习,无需单独的固定长度规则或外部语音分段器,简化了系统架构。