三输入联合检索
一个为三值图像-文本检索设计的融合网络,通过张量分解和双向三元组损失显式建模三输入间的关联,在多个基准上优于现有方法。
徐行 · Jialiang, Sun · Cao, Zuo · 张寅 · 朱晓峰 · 申恒涛
Information Fusion 2023
通过三线性融合同时利用三个输入的关联,而不是像传统方法只考虑两两关系。
引入三阶段硬三元组采样方案,确保快速收敛。
通过双向三元组损失直接学习准确的跨模态相似度函数。