子空间提示元学习器

消除过拟合,即插即用

一种用于视觉语言模型的提示微调方法,通过将梯度投影到早期特征空间来稳定训练并提升新类别的泛化能力。

Ma, Chengcheng · Liu, Yang · Jiankang, Deng · Xie, Lingxi · Dong, Weiming · Xu, Changsheng

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

基类精度不再先升后降

通过将梯度投影到由早期梯度流特征向量张成的低秩子空间,避免后期偏向虚假特征,从而保持基类性能稳定。

新类泛化不再持续下降

配备NFL后,无需额外图像数据即可学习新类别特征,显著提升对新类别的泛化能力。

零样本分割检测也有效

在开放词汇目标检测和零样本语义分割上验证了有效性,说明不仅限于分类任务。

应用场景