对比学习检索网络

通过不对称敏感样本生成与双向重排序,区分细粒度语义差异,在不同模态间实现统一表示。

Ziyu, Gong · 黄宜华 · Chunhua, Yu · Peng, Dai · Xing, Ge · Yiming, Shen · Yafei, Liu

Neurocomputing 2025

技术优势

识别细粒度差异

通过为不同类型的不对称性生成相应的正负样本,模型能区分细微的语义差异,而不仅是统一表示。

融合全局与局部特征

引入分层跨模态融合方法,通过多模态注意力机制同时整合全局和局部语义特征,增强跨模态概念对齐。

双向重排序提升性能

利用初始检索结果的K近邻进行反向搜索,结合双向检索信息,进一步提高图像-文本检索性能。

代码公开可复现

代码公开在GitHub上(https://github.com/Gzy1112/ACF-R),方便其他研究者复现和扩展。

应用场景