高效多模态预训练
在双编码器中引入可灵活解耦的跨模态融合模块，兼顾融合式模型的效果与双编码器模型的效率，通过跨模态知识迁移与综合预训练任务进一步提升表示学习能力。
Sun, Rongyi · Li, Ziran · Yifeng, Ding · Wang, Qifan · Wang, Jingang · 郑海涛 · Wu, Wei · Yunsen, Xian
2023
融合模块可以轻松从双编码器上解耦，使模型切换为无融合模式，灵活适应不同任务对效率与效果的需求。
跨模态知识迁移策略引导训练过程，吸收融合模块的跨模态特征，进一步增强融合式和无融合表示学习。
在多种视觉-语言下游任务上的大量实验表明，该模型兼具效果与效率，性能优于其他强VLP模型。