长文本翻译大语言模型

长文不衰减

通过外推策略增强大语言模型处理长文本的能力，解决翻译质量随文档长度增加而下降的问题。

Wang, Longyue · Zefeng, Du · Jiao, Wenxiang · Lyu, Chenyang · Jianhui, Pang · Cui, Leyang · Song, Kaiqiang · Wong, Derek F. · Shi, Shuming · Tu, Zhaopeng

2024

技术优势

长文不衰减

通过应用外推策略，模型在长文本上的翻译性能不再随文档长度增加而下降。

评测基准现成

提供了专为长文本翻译设计的指令式评测数据集，覆盖多语言、多领域和文档级平行数据，可直接用于模型微调和评估。

代码数据全开

数据、代码和模型均已开源，便于研究者和开发者复现与集成。

应用场景

• 多语言文档翻译：直接用于长篇多语言文档的高质量翻译，无需分段处理。
• 跨语言信息检索：通过提升长文档翻译质量，改善跨语言检索中的双语对齐效果。
• 多语言内容处理：为多语言内容处理流水线提供长文本翻译组件，减少人工后编辑。