反关联提示调优模型

开集识别准确率全面提升

该模型通过解耦类相关与类无关表示并抑制共现上下文关联，在开放世界视觉识别中生成更紧凑准确的类别表征，大幅降低对未知样本的误判。

Hairui, Ren · 唐帆 · Pan, Xingjia · Juan, Cao · 董未名 · Lin, Zhiwen · Ke, Yan · 徐常胜

IEEE Transactions on Multimedia 2023

参数信息

上开集识别准确率提升

8.4 %

技术优势

抑制共现关联

通过跨模态引导激活模块，利用文本信息抑制与目标类别无关的上下文关联，使学习到的表征更准确。

降低未知误判

通过解耦类相关与类无关表征，模型对未知样本的预测更加保守，从而降低开放环境中的误判风险。

应用场景

• 具身智能：让智能体在开放环境中可靠识别已知物体并拒绝未知，避免误操作。
• 开放世界视觉感知：提供紧凑的类别表征，降低对分布外样本的过度自信。
• 机器人视觉：使机器人在陌生场景中安全交互，只对已学类别做决策。
• 工业质检：在质检中识别已知缺陷类型并剔除未知异常样本。
• 无人机感知：无人机在开放空域中可区分已知目标与未知物体，提升安全性。