语言引导推理网络

跨模态推理新SOTA

该网络通过文本特征扩展和跨模态对齐,在指代表达理解任务中实现更精准的定位。

Mingcong, Lu · Li, Ruifan · 冯方向 · Ma, Zhanyu · Xiaojie, Wang

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

定位更准

通过文本特征扩展和跨模态对齐,模型能更好地捕捉语言相关的视觉特征,提升定位精度。

文本利用更充分

从坐标嵌入、跨模态对齐与融合、跨模态损失三个方面扩展文本特征,而不是将文本特征作为一个整体直接使用。

多数据集验证

在五个基准数据集上进行了大量实验,结果表明达到了新的最优水平。

应用场景