lookintogradients哈希模型

分布外泛化显著

通过全面探索梯度，在数据生成和模型优化两个方面提升图像检索模型对分布偏移的鲁棒性。

Wang, Haixin · Xinlong, Yang · Sun, Ji'nan · 张世琨 · Chen, Chong · 华先胜 · Xiao, Luo

IEEE Transactions on Knowledge and Data Engineering 2024

参数信息

性能提升

8.54 %

技术优势

跨域检索更稳

利用梯度上升生成挑战性虚拟样本，模拟最坏情况分布偏移，使模型在目标域未见数据上表现更稳定。

去除非关键参数

识别梯度值和数值较小的非关键参数并将其收缩至零，简化模型、降低过拟合风险，增强泛化能力。

对齐跨域梯度

修正不同域之间不一致的梯度，阻止模型学习域特定模式，从而提升对分布偏移的适应能力。

应用场景

• 大规模图像检索：在跨域分布偏移下保持检索精度，无需为每个目标域收集额外训练数据。
• 鲁棒哈希编码：生成的哈希码对分布偏移更具鲁棒性，可直接部署于不同数据来源的检索系统。
• 分布外数据检索：为无目标域标注数据的场景提供有效检索方案，模拟最坏情况分布以提升泛化。