消除过拟合,即插即用
一种用于视觉语言模型的提示微调方法,通过将梯度投影到早期特征空间来稳定训练并提升新类别的泛化能力。
Ma, Chengcheng · Liu, Yang · Jiankang, Deng · Xie, Lingxi · Dong, Weiming · Xu, Changsheng
IEEE Transactions on Circuits and Systems for Video Technology 2023
通过将梯度投影到由早期梯度流特征向量张成的低秩子空间,避免后期偏向虚假特征,从而保持基类性能稳定。
配备NFL后,无需额外图像数据即可学习新类别特征,显著提升对新类别的泛化能力。
在开放词汇目标检测和零样本语义分割上验证了有效性,说明不仅限于分类任务。