三线性融合网络

三输入联合检索

一个为三值图像-文本检索设计的融合网络,通过张量分解和双向三元组损失显式建模三输入间的关联,在多个基准上优于现有方法。

徐行 · Jialiang, Sun · Cao, Zuo · 张寅 · 朱晓峰 · 申恒涛

Information Fusion 2023

技术优势

三输入同时建模

通过三线性融合同时利用三个输入的关联,而不是像传统方法只考虑两两关系。

训练更高效

引入三阶段硬三元组采样方案,确保快速收敛。

显式优化检索性能

通过双向三元组损失直接学习准确的跨模态相似度函数。

应用场景