动态视觉语义子嵌入

通过动态正交约束和方差感知加权，降低嵌入的信息熵，以捕获图像的多种语义变化，提升图文检索精度。

Wenzhang, Wei · 桂志鹏 · Changguang, Wu · Anqi, Zhao · Peng, Dehua · 吴华意

IEEE Transactions on Multimedia 2025

参数信息

数据集

3

图像特征编码器

5

文本特征编码器

3

技术优势

熵更低

通过动态正交约束损失获得异构视觉子嵌入，降低嵌入的信息熵，减少冗余。

捕获更多语义变化

利用混合分布和方差感知加权损失，为不同的候选图像嵌入分配不同权重，鼓励捕获各种语义变化。

检索更快

开发快速重排序策略，高效评估检索结果并增强性能。

应用场景

• 多模态检索：为多模态检索系统提供低熵、高精度的嵌入表示，直接替换现有嵌入模块。
• 跨模态理解：捕获图像中的多种语义变化，增强跨模态语义对齐能力。
• 视觉语义表示：生成异构视觉子嵌入，更全面地表示视觉语义。