CLIP-Adapter特征适配器

轻量即插即用

通过残差式特征融合适配视觉或语言分支，无需提示工程即可实现更优的少样本分类性能。

Gao, Peng · Geng, Shijie · Renrui, Zhang · Ma, Teli · Rongyao, Fang · Zhang, Yongfeng · 李鴻升 · Qiao, Yu

International Journal of Computer Vision 2023

参数信息

参数量仅

0.2 M

CoOp

10 倍

技术优势

免提示工程

在视觉或语言分支添加适配器，无需为每个任务手工设计或优化提示。

性能超CoOp

在多个视觉分类任务上平均准确率超过上下文优化方法。

应用场景

• 视觉语言模型：用极少参数提升视觉语言模型少样本性能，无需提示工程。
• 具身智能：适配器可快速迁移到机器人视觉任务，减少对大量标注的依赖。
• 多模态学习：为多模态特征融合提供即插即用模块，提升对齐效果。
• 人机交互：帮助交互系统适应新物体类别，无需重新训练整个模型。