无源图文匹配模型

无需源数据跨域适配

通过不确定性感知学习抑制伪标签噪声，仅用预训练模型和目标域数据即可完成跨域图文匹配适配，显著提升不同场景下的匹配性能。

Tian, Mengxiao · Yang, Shuo · 吴心筱 · 贾云得

IEEE Signal Processing Letters 2024

技术优势

无需源数据

仅用预训练模型和目标域无标签数据即可完成适配。

抑制伪标签噪声

通过计算检索文本/图像的方差建模每个伪对的不确定性并据此降权。

即插即用

不确定性感知训练可通用于所有现有图文匹配模型。

应用场景

• 跨域视觉语言检索：将源域训练好的检索模型适配到新目标域，无需源数据。
• 无监督领域适应：在无源设定下实现无监督域适应，解决源数据不可得问题。
• 多模态模型部署：部署预训练图文模型时，用目标数据快速适配，降低伪标签噪声影响。
• 稳健图文对齐：对含噪伪对降权训练，提升跨域对齐鲁棒性。