语音翻译大幅提升
通过对语音翻译、语音识别和机器翻译任务的协同训练，在不增加额外数据的情况下，显著提升端到端语音翻译的性能。
Yue, Zhou · Yuxuan, Yuan · 史晓东
Neural Computing and Applications 2024
通过模型解耦与参数共享方法，确保各子网络在训练中扮演一致角色，避免角色错位带来的性能损失。
联合建模 ST、MT 和 ASR 任务，充分利用任务之间的关联，减少语义不一致问题。
采用协同训练策略利用三元组数据中的任务信息，使 ASR 增强声学编码器的局部信息捕获，MT 增强模型翻译能力。