跨模态长尾分类网络

尾部类表征增强

通过引入文本特权信息进行跨模态对齐与推理，该网络显著改善了长尾分布下尾部类别的表征学习，从而提升整体分类性能。

Li, Xiangxian · Yuze, Zheng · Ma, Haokai · Zhuang, Qi · 孟祥旭 · 孟雷

Computational Visual Media 2024

技术优势

尾部类表征更好

通过跨模态对齐提升尾部类表征的类内相似性，使模型能更有效地学习尾部类特征。

头尾类差异可捕捉

利用跨模态推理在语义空间中捕捉头部类和尾部类之间的差异，帮助模型区分不同频次的类别。

罕见概念可学习

模型注意力实验表明，映射到语义空间有助于学习尾部类中的一些罕见概念。

应用场景

• 机器人视觉感知：用预训练模型识别机器人视野中的罕见物体，无需大量标注样本。
• 图像分类系统：作为骨干网络直接集成，提升长尾场景下的分类性能。
• 边缘智能感知：在资源受限的边缘设备上实现长尾分布下的可靠分类。
• 多模态智能体：帮助智能体利用文本特权信息处理视觉长尾分类任务。