跨模态计数模型

开放世界计数

通过双提示机制融合框与文本信息,实现可泛化的开放世界物体计数。

Zhai, Wenzhe · Jianyong, Wang · 高明亮 · Nappi, Michele · Cascone, Lucia · Zhu, Xianxun · Rida, Imad

Information Fusion 2026

技术优势

一套模型通吃

统一的框架同时处理多种物体类别,不再需要为每个类别单独设计专用模型。

框和文本一起用

双提示机制将框提示与文本提示融合,在不同场景中都能生成有效的特征表示,增强适应性。

跨模态对齐更准

文本蒸馏模块将融合令牌中的语义知识迁移到物体查询,空间位置感知模块用动态卷积和注意力机制捕捉上下文依赖,两者结合使多模态表示对齐更精确。

泛化能力强

在多个计数基准上的综合实验表明,该模型优于现有最优方法,且泛化能力更强。

应用场景