半开集物体检测算法

一种基于多模态大语言模型的物体检测算法,在保持闭环模型精度的同时扩展检测范围,并显著提升可解释性。

Kewei, Wu · Yiran, Wang · Xiaogang, He · Jinyu, Yan · Yang, Guo · 姜竹青 · Xing, Zhang · Wei, Wang · 熊永平 · 门爱东 · 晓丽

Big Data and Cognitive Computing 2024

参数信息

验证场景数

7

技术优势

调优能力更强

通过多模态大语言模型的语义理解能力，算法能够针对复杂场景中易混淆物体进行更精细的调优，弥补闭集模型的不足。

精度保持闭环水平

在扩展检测范围的同时，算法保持了与闭集模型相当的检测精度，满足实际应用对高精度检测的要求。

结果可解释

算法能够向用户清晰展示检测结果的判断依据与过程，提升用户对检测结果的信任与应用。

应用场景

• 工业视觉检测：用于复杂工业场景中高精度检测，处理易混淆物体并提升调优能力。
• 多模态感知：借助多模态大语言模型融合视觉与语义信息，实现半开集检测。
• 智能安防：提升安防场景中检测精度和可解释性，增强结果可信度。