跨模态混合网络

缓解模态鸿沟

将最优传输引入跨模态数据增强，使语音翻译训练不再受限于语音与文本之间的模态差异。

Yan, Zhou · 75881226 · 冯洋

2023

参数信息

平均BLEU

30.0

技术优势

有效缓解模态鸿沟

通过最优传输自适应地找到语音和文本序列之间的对齐，并在 token 级别混合来自不同模态的序列。

翻译性能优于先前方法

在 MuST-C 基准的 8 个翻译方向上平均 BLEU 达到 30.0，超过之前的方法。

应用场景

• 语音翻译：直接集成到语音翻译流水线，提升翻译质量。
• 多模态学习：利用最优传输建模跨模态对齐，作为多模态学习的增强方法。
• 数据增强：在 token 级别混合语音和文本，生成更多样化的训练数据。