鲁棒跨模态学习

不匹配对下仍精准检索

通过无偏风险估计和互补对比学习,该算法框架让跨模态检索在训练数据存在大量错误匹配时依然稳健,避免过拟合与欠拟合。

胡鹏 · Huang, Zhenyu · 彭德中 · Wang, Xu · 彭玺

IEEE Transactions on Pattern Analysis and Machine Intelligence 2023

参数信息

实验数据集数量
5
对比方法数量
9

技术优势

抗不匹配对

提出无偏风险估计器,即使训练数据中存在大量错误匹配的跨模态对,模型仍能正确学习,避免过拟合。

防欠拟合

通过利用所有可用的负样本对增强监督信息,弥补仅使用负样本带来的弱监督,防止模型欠拟合。

关注难样本

通过最小化风险上界,模型在训练中更关注难样本,进一步提升检索性能。

应用场景