通过不对称敏感样本生成与双向重排序,区分细粒度语义差异,在不同模态间实现统一表示。
Ziyu, Gong · 黄宜华 · Chunhua, Yu · Peng, Dai · Xing, Ge · Yiming, Shen · Yafei, Liu
Neurocomputing 2025
通过为不同类型的不对称性生成相应的正负样本,模型能区分细微的语义差异,而不仅是统一表示。
引入分层跨模态融合方法,通过多模态注意力机制同时整合全局和局部语义特征,增强跨模态概念对齐。
利用初始检索结果的K近邻进行反向搜索,结合双向检索信息,进一步提高图像-文本检索性能。
代码公开在GitHub上(https://github.com/Gzy1112/ACF-R),方便其他研究者复现和扩展。