翻译质量可比自回归，速度提升5.67倍
通过预测感知编码与跨层注意力，突破CTC非自回归翻译中的条件独立和单调对齐限制，实现高性能低延迟语音翻译。
徐晨 · Xiaoqian, Liu · Xiaowen, Liu · Qingxuan, Sun · Zhang, Yuhao · Murun, Yang · Dong, Qianqian · Ko, Tom · 王明轩 · Xiao, Tong · Ma, Anxiang · Jingbo, Zhu
2023
非自回归生成并行输出所有目标词元，无需逐步解码，推理速度提升5.67倍。
即便采用非自回归生成，通过预测感知编码和跨层注意力，BLEU达到29.5，与自回归模型相当。
通过预测感知编码，使编码器能够利用已预测的目标信息，缓解条件独立假设带来的性能损失。
跨层注意力机制使解码器能够关注不同层的编码表示，适应翻译中源语言和目标语言的顺序差异。